[机器学习实战] - 笔记 - BP神经网络

BP 神经网络结构原理

1. 神经网络结构
   用ProcessOn软件画的，神经网络结构中变量非常多，部分标注便于理解。
   

2. 定义变量
   $n_l$ : 网络层数，即输入层＋隐藏层 + 输出层 （有些参考书不计算输入层）
   $S_l$：第 $l$层神经元的个数
   ${\omega }_{ij}^{(l)}$ : 第 $l$+1层的第 $i$个神经元和第 $l$层的第 $j$个神经元连接的权重weight
   $b_i^{(l)}$ ：第 $l$层第 $i$个神经元的偏置bias
   $z_i^{(l)}$ ：第 $l$层第 $i$个神经元的权重累计 $z_i^{(l)}={\sum }_{j=1}^{n_l}{\omega }_{ij}\cdot a_j^{(l)}+b_i^{(l)}$
   $a_i^{(l)}$ ：第 $l$层第 $i$个神经元的激活函数后的值（常见激活函数 Sigmoid，ReLu 等）
   $h_{\omega ,b}(x)$：最终输出值，例如输出层神经元个数为 n，则为 (n,1) 向量
   $\alpha$ ：学习率 learning rate

BP 神经网络公式推导

1. 对于单个样本，代价函数 cost function是误差平方和MSE：
   $$J(\omega ,b)=\frac{1}{2}||h_{\omega ,b}(x)-y|{|}^2$$
2. 对于全部样本，代价函数如下，后项是正则项，每层所有连接神经元的权重平方和：
   $$J(\omega ,b)=[\frac{1}{m}\sum _{i=1}^{m}J(\omega ,b;x_i,y_i)]+\frac{\lambda }{2}\sum _{l=1}^{n_l-1}\sum _{i=1}^{S_l}\sum _{j=1}^{S_l+1}({\omega }_{ji}^{(l)}{)}^2$$
3. 一般通过 梯度下降法求得最优解 ${\omega }_{ij}^{(l)}$ 和$b_i^{(l)}$ 当代价函数 $J(\omega ,b)$ 取得最小值时。局部下降最快的方向为梯度的负方向。
   $${\omega }_{ij}^{(l)}={\omega }_{ij}^{(l)}-\frac{\partial }{\partial {\omega }_{ij}^{(l)}}J(\omega ,b)$$$$b_i^{(l)}=b_i^{(l)}-\frac{\partial }{\partial b_i^{(l)}}J(\omega ,b)$$
4. 如果神经网络层数以及变量非常多，普通梯度下降法不适用于该情况，改用后向传播实现梯度下降，只针对前一层求偏导。
   $$\frac{\partial }{\partial {\omega }_{ij}^{(l)}}J(\omega ,b)=\frac{1}{m}\sum _{i=1}^m\frac{\partial }{\partial {\omega }_{ij}^{(l)}}J(\omega ,b;x_i,y_i)+\lambda {\omega }_{ij}^{(l)}$$$$\frac{\partial }{\partial b_i^{(l)}}J(\omega ,b)=\frac{1}{m}\sum _{i=1}^m\frac{\partial }{\partial b_i^{(l)}}J(\omega ,b;x_i,y_i)$$
5. 最后一层，其中用到 chain rule 链式法则，展开推导，打公式太累了，歇了歇了，后期传一张手写的。
   $$\frac{\partial }{\partial {\omega }_{ij}^{(n_l-1)}}J(\omega ,b)$$
6. 倒数第二层
   $$\frac{\partial }{\partial {\omega }_{ij}^{(n_l-2)}}J(\omega ,b)$$
7. 归纳误差偏导 $\sigma$

❗ 步骤总结：

① 前向传播，计算每层的激活函数值 $z_i$ -> $a_i$
② 最后 $n_l$层，计算误差 ${\sigma }^{(n_l)}$
$${\sigma }_i^{(n_l)}=-(y_i-a_i^{(n_l)})\cdot f^{{}^{\prime }}(z_i^{(l)})$$
③ 对于其他层
$${\sigma }_i^{(l)}=-\sum _{j=1}^{S_l+1}\cdot {\omega }_{[}ji{]}^{(l)}{f}^{{}^{\prime }}(z_i^{(l)})$$
④ 结论：权重和偏置更新
$${\omega }_{ij}^{(l)}={\omega }_{ij}^{(l)}-\alpha \cdot a_j^{(l)}{\sigma }_i^{(l)}$$$$b_i^{(l)}=b_i^{(l)}-\alpha \cdot {\sigma }_i^{(l)}$$

代码分享

代码采用随机梯度下降批量算法，缺点是没有用矩阵运算而全部向量运算，不推荐。如果感兴趣，搜吴恩达的深度学习课程，参考其代码。
链接: https://pan.baidu.com/s/1CbxEAx047i3t8MkAekxhKA
提取码: i1n6

Reference

书籍：
神经网络与深度学习 - Michael Nielsen
B站视频：
深度学习之神经网络的结构 Part 1 ver 2.0
深度学习之梯度下降法 Part 2 ver 0.9 beta
深度学习之反向传播算法 上/下 Part 3 ver 0.9 beta