【面试必备】之《深度神经网络一路走来所遇到的的问题》

1. 过拟合
   内容解析：
   过拟合的直观表现：模型在训练数据集上有着良好的表现，而在测试集上表现却很差；
   过拟合的根本原因：模型的泛化能力差。（1）过多的考虑了在训连数据集上的表现（2）训练样本太少。
   解决方法：
   （1）扩展数据集
   （2）正则化
   （3）CNN网络权值共享（降低模型复杂度）
   （4）dropout（类似于随机森林）
   （5）early stopping（交叉验证）

2. 梯度消失/爆炸
   内容解析：深度神经网络中的方向传播算法（Back Propogation）。
   解决方法：采用RELU激活函数及其变体。

3. 内部协方差偏移
   内容解析：机器学习的基本假设：模型的输入样本独立同分布
   解决方法：Batch Normalization

4. 模型退化
   内容解析：直观表现：56层的CNN网络在性能上不如20层的CNN网络。
   解决方法：残差网络。

5. 神经网络轻量化