神经网络训练

在神经网络训练中常会出现过拟合、欠拟合、梯度消失、梯度爆炸等现象。

过拟合即为模型训练的效果太好，模型在训练集上的准确率大于在测试集上的准确率。通常原因有以下几点：

（1）模型过于复杂，模型在很早在训练集上收敛，而在测试集上准确率较低。

（2）训练时间太长，导致模型过拟合。

常用的避免过拟合的方法：

1、正则化方法L1和L2。L!正则化对权重的绝对值进行加和公式如下：

L2正则化则是对Wi的平方进行加和*1/2。公式如下：

在训练过程中直接将权值的正则化损失加到最终的损失中，会使得权重始终呈现下降的状态

 

L2正则化只是对权值以一定的比例减小，而L1正则化却是使权值通过减去一个常数去朝着0削减。而当|w|很大时，L2对权值减少的幅度要远大于L1，相反，当|w|很小时，L1对权值的衰减又远大于L2。通过L1正则化，网络最终的结果会变为只保留对模型结果很重要的权值，而其他不重要的权值变为0。

2、batchnormal 

  深层神经网络在做非线性变换前的激活输入值（就是那个x=WU+B，U是输入）随着网络深度加深或者在训练过程中，其分布逐渐发生偏移或者变动，之所以训练收敛慢，一般是整体分布逐渐往非线性函数的取值区间的上下限两端靠近（对于Sigmoid函数来说，意味着激活输入值WU+B是大的负值或正值），这导致反向传播时低层神经网络的梯度消失，这是训练深层神经网络收敛越来越慢的本质原因。        

BN就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布变到均值为0方差为1的标准正态分布，其实就是把越来越偏的分布强制拉回比较标准的分布，这样使得激活输入值落在非线性函数对输入比较敏感的区域，这样输入的小变化就会导致损失函数较大的变化，这样让梯度变大，避免梯度消失问题产生，而且梯度变大意味着学习收敛速度快，能大大加快训练速度。

进行规范化使得数据处于中间，避免梯度消失。

3、使用dropout

以一定的概率取消一部分神经元的连接，从而类似于随机森林树，每次训练一个不同的网络，最终避免网络的过拟合。

欠拟合避免方法

欠拟合说明网络对数据的表达能力不够，因此需要增加模型的复杂度

梯度消失

在训练过程中由于梯度进入了平滑的部分，又因为是连乘的关系导致越往前的梯度越来越小，最终消失。

梯度爆炸

在损失函数的计算中有log当预测值为0时，损失值趋于无穷大。