梯度消失和梯度爆炸

梯度消失和梯度爆炸是训练深层神经网络时常见的问题，它们会影响模型的收敛速度和性能。

梯度消失（Vanishing Gradient）

问题描述：
在反向传播过程中，梯度逐层传递，如果梯度非常小，经过多层网络后会变得非常微弱，导致前面的层几乎无法更新权重。这使得网络难以学习到长时间依赖关系。

原因：

1. 激活函数：如sigmoid和tanh的导数在输入绝对值很大时会变得非常小。
2. 权重初始化：不合适的权重初始化会导致梯度消失。

解决方法：

1. 使用ReLU激活函数：ReLU的导数为1或0，可以缓解梯度消失问题。
2. 权重初始化：使用适当的权重初始化方法，如He初始化或Xavier初始化。
3. 归一化技术：Batch Normalization可以在每一层对输入进行归一化，缓解梯度消失问题。
4. 特殊网络结构：如LSTM和GRU，这些结构专门设计用于处理长时间依赖关系。

梯度爆炸（Exploding Gradient）

问题描述：
在反向传播过程中，如果梯度非常大，经过多层网络后会变得非常大，导致权重更新过大，模型无法收敛甚至发散。

原因：

1. 激活函数：如ReLU在输入很大时其导数仍然为1。
2. 权重初始化：不合适的权重初始化会导致梯度爆炸。

解决方法：

1. 梯度裁剪（Gradient Clipping）：在反向传播过程中对梯度进行裁剪，限制其值的范围。
2. 权重初始化：使用适当的权重初始化方法，如He初始化或Xavier初始化。
3. 归一化技术：Batch Normalization也有助于缓解梯度爆炸问题。

示例代码