神经网络训练方法

正则化

解决过拟合问题：L1，L2，Dropout，数据扩增，early stopping，
原理，通过减少参数或者使参数缩小的方式使神经网络中部分节点失活，以此来解决高方差问题，又因为损失函数的加入，使结果最终趋向准确。

如下图所示，tanh函数中，当w很小时，z趋向0，激活函数呈现相对线性状态，线性网络的拟合能力差，以此来解决过拟合问题。

对于L1和L2的区别知乎和简书很多了，这里稍微提一下，蓝色圈代表未加正则的梯度方向，中心点为最优点，加了正则后，左图L2，和蓝色圈交与非坐标轴上，因此，w1和w2都很小，但不为0，而右图的L1，w2为0，这就是为什么L1能使网络稀疏的原因。

Dropout方法很简单，删除网络上的一些节点

解决梯度消失、梯度爆炸

首先，这篇文章我觉的很不错，可以看看。
https://blog.csdn.net/qq_25737169/article/details/78847691