手动实现一个简单的神经网络

首先定义sigmoid函数

import numpy as np
def sigmoid(x,deriv = False):#前向传播
    if (deriv ==True):#反向传播
        return x*(1-x)#sigmoid求导注意传入的参数为sigmodid函数
    return 1/(1+np.exp(-x))

给初值和标签

x = np.array([[0,0,1],
             [0,1,1],
             [1,0,1],
             [1,1,1],
             [0,0,1]]
)
print(x.shape)
y = np.array([[0],
              [1],
              [1],
              [0],
              [0]])
print(y.shape)

初始化w0和w1

np.random.seed(1)
w0 = 2 * np.random.random((3,4)) -1#初始值在(0,1)乘以2在(0,2)，再减去1在(-1,1)之间
w1 = 2 * np.random.random((4,1)) -1
print(w0)

前向传播和反向传播

for j in range(60000):
    #前向传播
    l0 = x #输入层
    l1 = sigmoid(np.dot(l0,w0))#中间层，前向传播sigmoid不需要其他参数
    l2 = sigmoid(np.dot(l1,w1))#输出层
    #反向传播
    #(y-l2)^2/2 均方误差当做目标函数，求导得y-l2,当前的错误有多大shape为(5,1)
    l2_error = y - l2
    if (j%10000) == 0:
        print('Error'+str(np.mean(np.abs(l2_error))))
    #计算w1对l2的误差做了多少贡献shape为(5,1)，l2_error相当于一个误差权重    
    l2_delta = l2_error * sigmoid(l2,deriv=True)
    #拿这个误差乘以w1自身的转置(5,1)x(1,4)就是l1的误差权重
    l1_error = l2_delta.dot(w1.T)
    l1_delta = l1_error * sigmoid(l1,deriv=True)
    
    w1 += l1.T.dot(l2_delta)
    w0 += l0.T.dot(l1_delta)

输入层5x3，w0为3x4，l1层5x4，w1为4x1，l2层5x1

反向传播