正则化
解决过拟合问题:L1,L2,Dropout,数据扩增,early stopping,
原理,通过减少参数或者使参数缩小的方式使神经网络中部分节点失活,以此来解决高方差问题,又因为损失函数的加入,使结果最终趋向准确。
如下图所示,tanh函数中,当w很小时,z趋向0,激活函数呈现相对线性状态,线性网络的拟合能力差,以此来解决过拟合问题。
对于L1和L2的区别知乎和简书很多了,这里稍微提一下,蓝色圈代表未加正则的梯度方向,中心点为最优点,加了正则后,左图L2,和蓝色圈交与非坐标轴上,因此,w1和w2都很小,但不为0,而右图的L1,w2为0,这就是为什么L1能使网络稀疏的原因。
Dropout方法很简单,删除网络上的一些节点
解决梯度消失、梯度爆炸
首先,这篇文章我觉的很不错,可以看看。
https://blog.csdn.net/qq_25737169/article/details/78847691