BP神经网络初学

神经网络是由具有适应性的简单单元组成的广泛并互连的网络，其组织可以模拟生物的神经系统对真实世界物体所做出的交互反应。
目前神经网络已经是相当大，多学科交叉的学科领域。
1、人体神经网络
神经网络中最基本的组成部分是神经元模型。
可以看出如下图的人体神经网络只有一个神经元和一条轴突。其中一个神经元一般拥有多个树突，主要是用来接受传入信息；而轴突只有一条，轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。这个连接的位置在生物学上叫做“突触”。

2、神经元模型

如上图可见，此神经元有三个输入节点（x1,x2,x3）和一个输出节点（y），每个节点所对应的权向量分别是w1,w2,w3，其中偏置因子是b。
激活函数有很多种，这里使用的是一种简单的sign函数

 *f=sign(x)=      
 1 x>=0
-1 x<0

y=x1 * w1+x2  * w2+x3 * w3+b*

为了方便计算，可以将 b 看成是 x0 * w0，其中x0=1，w0=b
则计算公式可简化成

*y=f（x0 *  w0+x1 * w1+x2  * w2+x3 * w3）*

即

模型变为

w 的运算如下

η表示的是学习率（一般取0到1之间，若学习率太大会造成权值调整不稳定，太小会导致迭代次数太多），t 表示正确的标签，t 和y的取值都是0或1

假设利用平面坐标上的四个点来构造神经网络分类，四点分别是（3,3），（4,3）标签为1，（1,1），（0,2）标签为-1

则首先需要知道的是我们要分类的数据是2维的，因此需要两个输入节点，再爸偏置项也设置成一个节点，所以是需要3个输入节点。
需要输入的数据由（1,3,3），（1,4,3），（1,1,1），（1,0,2） 。 （x0为1）
对应的标签是（1,1，-1，-1）
权值初始化为1到-1之间的随机数
假设学习率是0.11
激活函数则采用sign函数

具体实现如下：

import numpy as np
import matplotlib.pyplot as plt
#数据
X=np.array([[1,3,3],
            [1,4,3],
            [1,1,1],
            [1,0,2]])
#标签
Y=np.array([[1],
            [1],
            [-1],
            [-1]])
#权值
W=(np.random.random([3,1])-0.5)*2
print(W)
#学习率 learning rate
lr=0.11  
#O表示f，初试值设为0
O=0
#更新权值
def update():
    global X,Y,W,lr
    O=np.sign(np.dot(X,W))
    #w=η *（t-y）* x i，除以int(X.shape[0])是为了取w平均值，若需分类的数据较少，可不加，若数据较多，加上会使权值更加稳定
    W_C=lr*(X.T.dot(Y-O))/int(X.shape[0])  
    W=W+W_C
    #迭代100次
for i in range(100):
    update()
    print(W)
    print(i)
    O=np.sign(np.dot(X,W))
    if(O==Y).all():
        print('Finished')
        print("epoches:",i)
        break
#正样本
x1=[3,4]
y1=[3,3]
#负样本
x2=[1,0]
y2=[1,2]

#计算分界线的斜率和截距
k=-W[1]/W[2]
d=-W[0]/W[2]
print('k=',k)
print('d=',d)
xdata=(0,5)
#画图
plt.figure()
plt.plot(xdata,xdata*k+d,'r')
plt.scatter(x1,y1,c='b')
plt.scatter(x2,y2,c='y')
plt.show()

结果如下

学习率不同，每次分类的结果都不一样

3、使用单层感知器异或问题
当使用单层感知器实现异或时，不能得出较好的效果，会使分类不准确，因此不建议使用。

4、线性神经网络
线性神经网络在结构上和感知器非常相似，唯一的变化则是在训练模型时将sign函数改为purelin函数
y=x

5、Delta规则

Delta规则是利用利用梯度下降法的一般性的学习规则

二次代价函数为

其中误差 E 是权向量 W 的函数，可以使用梯度下降法来最小化 E 的值

6、BP神经网络
用于解决多层神经网络的学习问题，极大的促进了神经网络的发展，其广泛应用与分类识别，逼近，回归，压缩等领域。

BP神经网络分为输入层、隐藏层和输出层

BP算法