深度学习5：python实现三层神经网络

今天实现一个三层的神经网络，网络模型如下图：

该网络的实现源码：（编译环境：Jｕｐｙｔｅｒ　Ｎｏｔｅｂｏｏｋ　ｐｙｔｏｎ３）

import numpy as np

#定义一个激活函数

def sigmoid(X, deriv = False):
    if(deriv == True):        
        return X*(1-X)
    return 1/(1+ np.exp(-X))    

#构造数据集
x = np.array([[0,0,1],
             [0,1,1],
             [1,0,1],
             [1,1,1],
             [0,0,1]])
print(x.shape)

y = np.array([[0],[1],[1],[0],[0]])
print(y.shape)


#指定随机的种子,每次运行产生相同数据
np.random.seed(1)
#L0有三个特征，L1有4个神经元，所以w0为3行4列,取值范围（-1，1）
w0 = 2*np.random.random((3,4))-1
w1 = 2*np.random.random((4,1))-1
print(w0)


#神经网络模型构造及训练
for j in range(1000001):
    #L0层
    l0 = x
    #前向传播，计算后l1为5行4列
    l1 = sigmoid(np.dot(l0,w0))
    #前向传播，计算后l2为5行1列
    l2 = sigmoid(np.dot(l1,w1))
    #计算预测值与标签的差异值
    l2_error = y - l2
    if(j %100000)==0:
        print('Error'+str(np.mean(np.abs(l2_error))))
        print(j)
       
  
    #方向传播，计算梯度值
    #如l2_error很大，则需要大力度更新；如果l2_error很小，则只需要更新一点点
    #所以导数乘以l2_error, *为连个5行一列的矩阵对应位置相乘   
    l2_delta = l2_error * sigmoid(l2, deriv=True)
    #l2_delta5行1列，w14行1列，
    l1_error = l2_delta.dot(w1.T)  
    l1_delta = l1_error * sigmoid(l1, deriv=True)
    
    #更新参数
    #l15行4列，l2_delta5行1列，w1为4行一列
    w1 += l1.T.dot(l2_delta)
    #l05行3列，l2_delta5行4列，w0为3行4列
    w0 +=  l0.T.dot(l1_delta)

如果你能够看懂上面这些代码，那么恭喜你已经理解了前向传播和反向传播的原理。

（1）部分代码演示：

（2）关于激活函数，sigmoid函数：

Sigmoid函数是一个在生物学中常见的S型的函数，也称为S型生长曲线。  由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。因为它的非线性映射关系，因此也常用作激活函数：

定义激活函数代码中：

def sigmoid(X, deriv = False):

    if(deriv == True):        

        return X*(1-X)

    return 1/(1+ np.exp(-X))   

deriv为True时，就是sigmoid函数的导数，反向传播的时候调用。

（3）网络模型反向传播

反向传播时，Y-L2就是代码中的误差l2_error,根据导数链式法则l2_error*sigmoid函数的导数，就是反向传播到第一个sig园圈后的误差值。经历第一个sig圆圈后，再往回传就是w1*x,其导数值为x,所以l1_error等于l2_delta.dot(w1.T)。l1_error到l1_delta原理同右边第一个sig圆圈。

运行结果：

更多更好文章，欢迎关注公众号：深圳程序媛（ｕｐｄａｔｅｄａｙｂｙｄａｙ）