BP神经网络算法实现——异或问题

import numpy as np
import random

#输入数据分别:偏置值,x1,x2
X = np.array([[0,0],
              [0,1],
              [1,0],
              [1,1]])

#标签,期望值
Y = np.array([[0,1,1,0]])

#权值初始化，取值范围-1到1
V = np.random.random((2,3))*2-1 #(2,4)输入层2个，隐含层4个 
W = np.random.random((3,1))*2-1 #(4，1)隐含层4个。输出层1个
# print(V)
# print(W)
#学习率设置
# lr = 0.11
lr1 = random.random() # random.random()随机生成0-1之间的小数
lr2 = random.random() # random.random()随机生成0-1之间的小数

print("学习速率：",lr1,lr2)

# sigmoid函数
def sigmoid(x):
    return 1/(1+np.exp(-x))
# sigmoid函数求导
def dsigmoid(x):
#     return x*(1-x)
    return sigmoid(x)*(1-sigmoid(x))
 
def update():
    global X,Y,W,V,lr1,lr2#输入，输出，权值，权值，学习率
    
    # L1：输入层传递给隐藏层的值；输入层3个节点，隐藏层4个节点
    # L2：隐藏层传递到输出层的值；输出层1个节点
    L1 = sigmoid(np.dot(X,V))#隐藏层输出(4,4),没有减去阈值
    L2 = sigmoid(np.dot(L1,W))#输出层输出(4,1)
    
    # L2_delta：输出层的误差信号
    # L1_delta：隐藏层的误差信号
    L2_delta = (Y.T - L2)*dsigmoid(L2)
    L1_delta = L2_delta.dot(W.T)*dsigmoid(L1)
    
    # W_C：输出层对隐藏层的权重改变量
    # V_C：隐藏层对输入层的权重改变量
    # 调整权值
#     W_C = lr*L1.T.dot(L2_delta)
    W_C =lr1*np.dot(L1.T,L2_delta)                
    V_C = lr2*np.dot(X.T,L1_delta)
    #V_C = lr2*X.T.dot(L1_delta)
    
    W =  W+W_C
    V =  V+V_C
# 结束循环的标志是在精确度达标的时候，如果精确度不够，则一直循环，缺点是：如果初始点选取的不好，则有可能陷入死循环。   
while True:
    update()#更新权值
    E=np.mean(np.abs(Y.T-L2))
    # 误差，去吧感情也都有
    if E<0.05:
        break
    
    if i%5000==0: 
        L1 = sigmoid(np.dot(X,V))#隐藏层输出(4,4)
        L2 = sigmoid(np.dot(L1,W))#输出层输出(4,1)
        print('当前误差:',np.mean(np.abs(Y.T-L2)))
              
# 如果想指定循环次数的话，可以用以下几行代码       
# for i in range(20000):
#     update()#更新权值
# #   循环中，余数为0的打印出当前误差
#     if i%5000==0: 
#         L1 = sigmoid(np.dot(X,V))#隐藏层输出(4,4)
#         L2 = sigmoid(np.dot(L1,W))#输出层输出(4,1)
#         print('当前误差:',np.mean(np.abs(Y.T-L2)))
        
L1 = sigmoid(np.dot(X,V))#隐藏层输出(4,4)
L2 = sigmoid(np.dot(L1,W))#输出层输出(4,1)
print(L2)

# 判断函数
def judge(x):
    if x>=0.5:
        return 1
    else:
        return 0

for i in map(judge,L2):
    print(i)    
    
#     #打乱数据，测试一下，哈哈，测试结果正确
X = np.array([[0,1],
              [1,1],
              [1,0],
              [0,0]])    
    
L1 = sigmoid(np.dot(X,V))#隐藏层输出(4,4)
L2 = sigmoid(np.dot(L1,W))#输出层输出(4,1)
 
def judge(x):
    if x>=0.5:
        return 1
    else:
        return 0

for i in map(judge,L2):
    print(i) 

通过对其它BP算法在异或问题精确度的对比实验：
其它值固定时，BP神经网络在误差E<0.005时，没有阈值的循环了233190 次，有阈值的循环了 231046 次，有阈值的会比没阈值的少运算2000多次；
其它值固定时，BP神经网络在误差E<0.0005时，无阈值循环运行了22076828次，有阈值循环运行了22172887次，有阈值的会比没阈值的多了100万次；

结论：有阈值可以提高BP神经网络运行效率的结论不成立。