注意:前方警告来袭:能认认真真看完这篇博客,读懂每一个公式,看懂每一个推导过程,那么就一定会对BP原理有一个根本性的认识,只有这样,作为一名程序猿,才能一个人在黑屋子里敲出对应功能的代码!!!
一、单层单连接
考虑以下两个单连接神经元:
根据上图 可得如下公式推导:
n1=w1a0n2=w2a1
n
1
=
w
1
a
0
n
2
=
w
2
a
1
a1=f1(n1)a=a2=f2(n2)
a
1
=
f
1
(
n
1
)
a
=
a
2
=
f
2
(
n
2
)
E=E[(t−a)2]=E(n1,n2)=E(w1,w2)
E
=
E
[
(
t
−
a
)
2
]
=
E
(
n
1
,
n
2
)
=
E
(
w
1
,
w
2
)
此处用
E
E
表示代价函数,物理意义为均方误差值,表示训练样本所对应的目标值,
a
a
为最终的输出, 中
t
t
为已知值,故其为的函数,又有前可知
a
a
为 的函数,
n2
n
2
为
a1
a
1
的函数,
a1
a
1
为
n1
n
1
的函数,如果将
w2
w
2
看着常数,则
a
a
为、
n2
n
2
的函数,所以
E
E
同时也可以表示为、
n2
n
2
的函数,同理也可以表示为
w1
w
1
、
w2
w
2
的函数。机器学习的目的就是通过调整参数
w
w
使 最小,为使后面求导方便,同样可以将
E
E
表示成如下:
已知 E E 为、 w2 w 2 的函数,为使 E E 取值最小,可通过梯度下降法对、 w2 w 2 更新,更新过程如下:
其中 α α 为梯度更新步长,也称为学习率,可由人为设定。
已知
根据求导链式法则可得:
其中
令
为敏感系数,后面会通过公式计算该系数,将以上公式合并可得如下公式:
带入更新公式可得:
该更新公式中等式右边只有敏感系数 s1 s 1 和 s2 s 2 未知,先计算 s1 s 1 、 s2 s 2 的表达式,已知 s1 s 1 、 s2 s 2 的定义式,可通过求导链式法则求出 s1 s 1 和 s2 s 2 之间的关系。
其中
所以 s1 s 1 与 s2 s 2 之间的关系为
现在 s1 s 1 可以通过 s2 s 2 表示了,也就是说到这一步只有 s2 s 2 是未知数,下面计算 s2 s 2 的表达式:由前面可知均方误差 E E 的近似表达式为:
而
将两者合并可得:
注意到此表达式中等式的右边含有 (t−a) ( t − a ) 为训练模型的偏差。
至此 s1 s 1 、 s2 s 2 的计算表达式均已知。
现在重新理一下整个更新过程:
总结:BP更新过程可分为三步:
第一步:数据前向传播
第二步:误差后向传播
第三步:权重更新
二、多层多连接
要读懂这一节,必须先要对第一节有足够的理解。
因本人没有艺术细胞,不会画图,前面那个图都是复制来的,又多层网络图不好画,网上又搜索不到对应的图,所以就不贴图了,各位读者还请自行脑补,就是在第一个图上面进行扩展。下面直接列写公式:
代价函数(均方误差):
权重更新公式:
这里需要注意下标 i,j i , j 中 j j 表示前一层神经元节点下标,表示后一层神经元节点下标。
根据偏导链式法则同理可推得如下公式:
其中
表示第 m m 层第 个节点的输入。该式对 w和b w 和 b 求偏导分别为:
同理定义敏感因子:
结合前面两部分公式可得权重梯度:
将其代入权重更新公式有:
该表达式只是针对求解某一个权重和偏置。
下面以向量和矩阵的方式表示一层中权重和偏置的更新公式:
第 m m 层权重用矩阵表示如下:
第 m m 层敏感因子向量如下:
第 m−1 m − 1 层输出向量如下:
第 m m 层偏置向量如下:
由此上述权重和偏置更新公式可统一由一下公式表示:
现在我们需要推导如下关系式:
已知
注意,这里等式右边两个微分顺序不能乱,前一个为矩阵,后一个为向量,调换顺序后则无法进行数学运算。
以上矩阵亦称Jacobian矩阵,其中每一个元素的表达式如下:
由前面推导公式可得:
其中
将Jacobian矩阵矩阵代入 sm s m 表达式可得:
进一步有:
而最后一层 sMi s i M 可由均方误差求得:
进一步可写为:
向量和矩阵表示为:
将以上过程总结为三步:
第一步:训练数据前向传播
第二步:误差反向传播
第三步:权重更新
以上就是整个多层多连接网络BP算法数学原理。
三、实例运用
以下实例是通过BP神经网络算法拟合函数曲线,代码请戳这里