推导理解BP神经网络

一、正向传播激活神经网络

 在神经元j jj的激活函数输入处产生的诱导局部域,即神经元 j 的输入是：

 ϕj​是激活函数，则出现在神经元j输出处的函数信号是：

二、误差反向传播推导过程

 在图一中，和分别是神经元 j 的实际输出和期望输出，则神经元j jj的输出所产生的误差信号定义为：

 为了使函数连续可导，最小化均方根差，定义神经元 j 的瞬时误差能量为：

 将所有输出层神经元的误差能量相加，得到整个网络的全部瞬时误差能量：

 BP 算法通过反复修正权值使式(2-5)最小化，把这个梯度表示为、

 在式(2-5)两边取微分

 在式(2-3)两边对(n)取微分，得到：

 最后在式(2-1)两边对(n)取微分，得到：

 将式(2-7)——(2-10)带入式(2-6)得：

 应用于(n)的修正∆(n)定义为：

 η是误差反向传播的学习率，可以调整更新的步伐，合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。学习率设置太小，结纂收敛非常缓慢;学习率设置太大，结果在最优值附近徘徊，难以收敛，一般选取为0.01-0.8

三、训练到什么时候结束

1、设置最大迭代次数，比如使用数据集迭代100次后停止训练

2、计算训练集在网络上的预测准确率，达到一定门限值后停止训练