机器学习---神经网络

神经元模型

M-P神经元模型：

当前的神经元负责处理输入信号${\sum }_{i=1}^n{w}_i{x}_i$，其模拟了生物神经网络中的电位阈值激活，通过激活函数$f$判断总输入是否大于阈值来决定输出$y$:
$$y=f(\sum _{i=1}^n{w}_i{x}_i-\theta )$$
理想的$y$是一个阶跃函数，但阶跃函数具有不光滑、不连续的性质，因此用连续光滑的sigmoid函数代替阶跃函数。

感知机与多层网络

感知机(perceptron)由两层神经元组成，其输出层通过激活函数处理，有点类似于逻辑回归下的二分类：

感知机能容易地实现线性可分的与或非运算，但对非线性可分的异或运算则无能为力。

要解决异或这样的非线性可分问题，两层神经元是不够的，多层神经元则可以解决，多层感知机也称为前馈神经网络、深层前馈网络，其目标都是近似某个函数（如这里的异或函数）。

权重$w_i$是能自动学习的，感知机的学习规则为：$$\begin{gathered} w_i\leftarrow w_i+\Delta w_i \\ \Delta w_i=\eta (y-\hat{y})x_i \end{gathered}$$
可以看出，其更新目标是就是近似$y=\hat{y}$，$\hat{y}$代表网络预测出来的值，$y$则为理想的值（标签）。

误差逆传播算法—反向传播

一般我们叫做反向传播(Back Propagation)算法，但也许误差逆传播更能说明BP算法的本质。
神经网络的本质的训练是找出每一层感知机合适的权重$w_i$，我们相信存在一个最合适的$w_i$能保证我们的输出与真值(因为是监督学习)拟合的最好，也就是代价函数要尽可能的小。在逻辑回归中，我们用的是梯度下降的方法，或者用一些高级优化算法（如牛顿法、共轭梯度等）都会不可避免的用到梯度的信息，因为梯度在泰勒展开后能够做到一阶近似，能够衡量参数变化后的误差。
比如参数$w$在函数$J$从$w_0$增加了$\delta$，那么J会产生$\Delta J$的误差：
$$\begin{gathered} J(w_0+\delta )-J(w_0)=\delta \frac{\partial }{\partial w}J(w) \\ \Delta J=\delta \frac{\partial }{\partial w}J(w) \end{gathered}$$

神经网络是多个感知机的链接组合，输出层与真值的误差通过梯度反向传播给参数，参数再反向修正即可，同时神经网络的特点：数据特征太多，复合的网络结构导致直接单独逐个求导效率非常低，BP算法则是一种高性能计算导数的方法。

这里每个神经元的激活函数都是sigmoid激活函数。
假定神经网络的输出为$\widehat{y_k}=(\widehat{y_1},\widehat{y_2},...,\widehat{y_l})$，$l$个输出
$$\widehat{y_j}=f({\beta }_j-{\theta }_j)=\sigma ({\beta }_j-{\theta }_j)$$${\beta }_j={\sum }_{h=1}^q{w}_{hj}{b}_h$是第j个神经元的输入，${\theta }_j$是输出层第j个神经元的阈值。
代价函数假设为均方误差，也就是误差反向传播中的误差，目的是为了尽可能近似目标：
$$J_k=1/2\sum _{j=1}^l(\widehat{y_j}-y_j{)}^2$$

任意参数$w,v,\theta ,\gamma$的更新估计式为：
$$\mu =u+\Delta u$$

下面我们用连接权$w_{hj}$作为参数$u$的例子：
BP算法基于梯度下降的策略，以目标的负梯度方向对参数进行调整，对误差$J$，给定学习率$\eta$，有：
$$\Delta w_{hj}=-\eta \frac{\partial J}{\partial w_{hj}}$$

由上面的图5.7可以看出$w_{hj}$先影响到第$j$个输出层神经元的输入值${\beta }_j$，再影响到其输出值$\widehat{y_j^k}$，然后影响到$J_k$，故：
$$\frac{\partial J}{\partial w_{hj}}=\frac{\partial J}{\partial \widehat{y_j^k}}.\frac{\partial \widehat{y_j^k}}{\partial {\beta }_j}.\frac{\partial {\beta }_j}{\partial w_{hj}}$$

所以$\Delta w_{hj}$的更新公式为：
$$\Delta w_{hj}=\eta \widehat{y_j^k}(1-\widehat{y_j^k})(y_j^k-\widehat{y_j^k})b_h$$

同理也可推出其它参数的更新式，权重的更新直到训练误差达到一个很小的值。
上面的推导只考虑了单个训练样本，称为“标准BP算法”，如果是考虑了所有的训练样本，则代价函数为：
$$J=\frac{1}{m}\sum _{k=1}^m{J}_k$$

基于此推出的更新则成为“累计BP算法”，“累计BP算法”在面临训练集非常大时更新缓慢，这时“标准BP算法”迭代次数虽然较多，但往往会更快的获得更好的解。

过拟合解决方案

由于其强大的表示能力，BP神经网络经常遭遇过拟合，其训练误差持续降低，但测试误差却可能上升，有两种策略常用来缓解BP网络的过拟合。

1. 早停

将数据集分成训练集和验证集，训练集用于计算梯度、阈值和权重，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，同时返回就有最小验证集误差的连接权重和阈值。

2. 正则化

在误差函数中加入一个正则项，
$$J=\frac{1}{m}\sum _{k=1}^m(\widehat{y_k}-y_k{)}^2+\lambda \sum _i{w}_i^2$$

正则项对大的连接权重进行惩罚，因为有些权重过高会导致高阶项占主导，从而过拟合，因为我们的目的是$\underset{w}{\min }J(w)$，正则项保证了$w_i$不会过大。

参考

主要来源于周志华的西瓜书和吴恩达的公开课视频，知乎上关于反向传播的直观解释也非常好。

1. 周志华—机器学习（西瓜书）
2. 吴恩达-机器学习
3. 如何直观地解释 backpropagation 算法？ https://www.zhihu.com/question/27239198