梯度消失、梯度爆炸|卷积神经网络

梯度消失、梯度爆炸

1、梯度不稳定问题：

什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。

原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸

2、解释

梯度消失 又叫 梯度弥散。根据链式法则，如果每一层神经元的权重与上一层传递过来的残差之积都小于1，这样经过足够多层传递之后，残差值将趋近于0。

梯度爆炸：一般都认为深层的神经网络会比浅层的神经网络的表现要好，所以在处理一些较为复杂的任务的时候，人们往往会使用更深层次的神经网络，而现在的大部分神经网络的权重更新都要依靠反向传播。我们的模型处在一个很陡的陡坡上，那么在求梯度的时候，在网络层上出现了指数型的递增，也就是说，梯度爆炸了。

3、解决方案：

1、梯度剪切

梯度剪切是针对梯度爆炸提出的，其思想是设置一个梯度剪切阈值，然后更新梯度的时候，如果超过阈值就将梯度限制为阈值。可以防止梯度爆炸。

2、使用relu激活函数

3、良好的参数初始化策略也能缓解梯度爆炸问题（权重正则化）

4、使用残差结构

5、使用lstm

卷积

CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，