常见问题

1. 梯度消失与爆炸、过拟合、不收敛

---

1. 梯度消失与爆炸

  梯度消失：梯度传不到浅层网络，只有深层网络学习。导致深度网络不深，难以收敛。
  梯度爆炸：梯度值过大，导致网络难以收敛甚至出现 NaN 值。

1. 抑制梯度消失：使用 ReLU 这种无界的激活函数。使用残差结构。
2. 同时抑制梯度消失与爆炸：使用预训练参数。特征正则化。权重正则化。

2. 过拟合

  过拟合的症状：模型在训练集上效果好，在测试集上效果差，即模型泛化能力弱。
  过拟合的原因：复杂的模型拟合能力过强，对训练集中的抽样误差也进行了很好地拟合。

1. 使用权重衰减，让权重更小、更稀疏。
2. 训练数据少。增加训练数据，如进行数据增广。
3. 模型过于复杂。减少网络层数和神经元个数。
4. 在验证误差不下降时及时停止训练。
5. 使用 Dropout。
6. 多任务学习。