深度学习---前向传播和反向传播的推导过程

import numpy as np

#激活函数
def sigmoid(x):
    return 1/(1+np.exp(-x))

#sigmoid的导数
def sigmoid_backward(x):
    return x*(1-x) 

#创建数据集5x3
X=np.array([[0,1,1],
            [1,1,0],
            [0,0,1],
            [1,0,1],
            [1,1,0]
           ]) 
#特征值
y=np.array([[0],[1],[1],[0],[0]])

#创建权重值w0 3*4
w0=2*np.random.random((3,4))-1
#w1 4*1
w1=2*np.random.random((4,1))-1
# print(w0,w1)

# w0=np.random.random((3,4))
# #w1 4*1
# w1=np.random.random((4,1))
# print(w0,w1)

np.random.seed(0)
#通过迭代来不断更新w权重值
for i in range(60000):
    #######################################前向传播求损失值
    l0=X
    #创建输入层，并使用sigmoid函数
    #第一层w1
    #5*3--3*4->5*4
    l1=sigmoid(np.dot(l0,w0))
#     print("l1",l1.shape)#5*4
    
    #第二层
    #5*4--4*1->5*1
    l2=sigmoid(np.dot(l1,w1))
#     print("l2",l2.shape)#5*1
    
    #计算损失值 每一个样本针对自己的真实值求得到的损失值
    l2_error=y-l2#真实值-预测值
    #样本的平均损失值
    if (i%10000)==0:
        loss=np.mean(np.abs(l2_error))
        print("第%s次迭代"%(i+1),"得到的损失值",loss)
    #################################反向传播更新损失值
    #l2的导数
    l2_delta=l2_error*sigmoid_backward(l2)############l2_error是控制对w0,w1的更新力度
#     print("l2的导数",l2_delta.shape)#5*1
    #在l1层 每个样本的损失值
    l1_error=np.dot(l2_delta,w1.T)
#     print("l1层的损失值",l1_error.shape)
    #l1的导数
    l1_delta=l1_error*sigmoid_backward(l1)
#     print("l1的导数",l1_delta.shape)#5*4
    
    ####4*1<-4*5--5*1
    w1_delta=np.dot(l1.T,l2_delta)
#     print(w1_delta.shape)#4*1
    
    w0_delta=np.dot(l0.T,l1_delta)
#     print(w0_delta.shape)#3*4
    
    #得到最优权重值
    w0+=w0_delta
    w1+=w1_delta