（六）人工神经网络（原理）

感知器--MP神经元模型

        输入项为，其中是阈值，如果该神经元的总输入值超过该阈值，那么该神经元才会被激活.

感知器--激活函数

        为激活函数，当时，激活函数值会很小或置零，实现对神经元的抑制

感知器--感知器学习

         将预测结果与真实结果对比，计算更新后的参数，不断迭代求解神经元的权重以及阈值

感知器--多层前馈神经网络

基于反向传播的多层前馈神经网络

①前馈：数据从输入层输入，到隐含层对数据进行加工处理，最终结果由输出层输出

②反向传播：调整参数的方法，由输出结果与真实结果的偏差，从输出层到隐含层、输入层，反向顺序调整更新权重、阈值等参数

学习算法--误差逆传播算法（BP）

 隐藏层神经元的个数是不确定的，需要根据经验搭建

更新参数的计算过程，梯度下降法

 

标准BP与累积BP

标准BP算法对每一个样本得到的结果都进行一次前馈计算和反向传播，更新参数

而累积BP算法是对所有的样本进行前馈计算后，对整体的损失进行反向传播，更新参数

目前用的最多的是通过batch计算更新

反向传播中存在的问题--过拟合

由于多层前馈网络的表示能力很强，可能反而会导致过拟合的问题

解决方法：

        ①早停策略，当验证集误差开始升高，训练提前停止

        ②正则化，在损失函数中增加表示网络复杂程度的部分，例如神经元权值和阈值的平方和

反向传播中存在的问题--陷入局部最优

有助于跳出局部最优解的策略：

        ①多组随机初始参数，因为不同的初始参数出发点不同，梯度下降得到的终点可能不同，最终选择误差最小的一组初始化参数即可

        ②模拟退火，即当得到的结果比当前解更好时则接受，比当前解更差时，概率选择接受或舍弃

        ③随机梯度下降(SGD)，计算梯度的过程中加入随机因素，随机取一个维度的梯度作为整体的梯度，使用的是近似的梯度