一、BP神经网络—从推导到实现
1 BP神经网络结构
BP神经网络是一个非常经典的网络结构。整个网络结构包含了:一层输入层,一到多层隐藏层,一层输出层。它既可以处理线性问题,也可以处理非线性问题。学习过程由信号的正向传播和误差的反向传播两个过程组成。我们可以利用误差反向传播算法进行迭代,使误差逐渐减少到我们的接受范围内。
2 算法原理
2.1 网络结构
输入层——神经网络中的第一层。它需要输入信号并将它们传递到下一层。它不对输入信号做任何操作,并且没有关联的权重和偏置值。
隐藏层——除输入层和输出层以外的其他各层叫做隐藏层。隐藏层不直接接受外界的信号,也不直接向外界发送信号。隐藏层在神经网络中的作用:中间的黑盒子,可以认为是不同功能层的一个总称。
输出层——网络的最后一层,它接收来自最后一个隐藏层的输入,输出模型预测的结果值。
2.2 正向传播
就是结构图从左到右的运算过程。
正向传播就是让信息从输入层进入网络,依次经过每一层的计算,得到最终输出层结果的过程。
把小圈圈叫做神经元,是组成神经网络的基本单元。
上一层的输出数据作为小圈圈的输入数据,先加权求和加偏置b,然后代入激活函数f(x)计算,结果输出。
正向传播就是输入数据经过一层一层的神经元运算、输出的过程,最后一层输出值作为算法预测值y’。
2.3 反向传播
BP神经网络全称 back propagation neural network,那back propagation反向传播是什么?
反向传播的建设本质上就是寻找最优的参数组合,和上面的流程差不多,根据算法预测值和实际值之间的损失函数L(y’,y),来反方向地计算每一层的z、a、w、b的偏导数,从而更新参数。
对反向传播而言,输入的内容是预测值和实际值的误差,输出的内容是对参数的更新,方向是从右往左,一层一层的更新每一层的参数。
BP神经网络通过先正向传播,构建参数和输入值的关系,通过预测值和实际值的误差,反向传播修复权重;读入新数据再正向传播预测,再反向传播修正,…,通过多次循环达到最小损失值,此时构造的模型拥有最优的参数组合。
3 实现
3.1 实施步骤
1)初始化网络中的权值和偏置项
初始化参数值(输出单元权值、偏置项和隐藏单元权值、偏置项均为模型的参数),是为激活前向传播,得到每一层元素的输出值,进而得到损失函数的值。参数初始化,可以自己设定,也可以选择随机生成;一般情况下,自己写代码或者调用tensorflow或keras时,都是随机生成参数。因为初始参数对最终的参数影响不大,只会影响迭代的次数。
2)激活前向传播,得到各层输出和损失函数的期望值
在步骤1的基础上,激活前向传播,得的值,进而得到的值;其中的计算,根据前面模型设定中的公式计算。计算这些值是为计算步骤3中的误差项。
3)根据损失函数,计算输出单元的误差项和隐藏单元的误差项
计算各项误差,即计算参数关于损失函数的梯度或偏导数,之所以称之为误差,是因为损失函数本身为真实值与预测值之间的差异。计算参数的偏导数,根据的是微积分中的链式法则。
注意: 对于复合函数中的向量或矩阵求偏导,复合函数内部函数的偏导总是左乘;对于复合函数中的标量求偏导,复合函数内部函数的偏导左乘或者右乘都可以。
4) 更新神经网路中的权值和偏置项
更新神经网路中的权值和偏置项。学习率自己设定,学习率太大,容易跳过最佳的参数;学习率太小,容易陷入局部极小值。
5) 重复步骤2-4,直到损失函数小于事先给定的阈值或迭代次数用完为止,输出此时的参数即为目前最佳参数。
设定阈值e或者设定迭代次数,当损失函数值小于阈值e时,或当迭代次数用完时,输出最终参数。
实例编程实现(python语言)
(此处只展示核心代码)
正向传播:
反向传播:
完整代码链接
提取码:d2pu
参考:
https://www.jianshu.com/p/9037890c9b65