深度学习面试知识点归纳总结

深度学习主要针对CV计算机视觉方向哦，NLP自然语言的童鞋还需自行查漏补缺

深度学习基础部分

1. 卷积神经网络（CNN）特点：局部区域连接和权值共享。
   局部区域连接：图像的空间联系是局部比较紧密的，每个神经元其实没有必要对全局图像进行感知，只需对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。
   权值共享：图像的一部分统计特性与其它部分是一样的。意味着在这一部分学习的特征也能用在另一部分上。通过设置不同的kernel，能获取不同特征的信息。
2. Pooling的作用： 引入不变性（max pooling）；扩大感受野；降维（减少参数量）
   使用池化可以看做是增加了一个无限强的先验，这一层学的的函数必须具有对少量平移保持不变的特性。
3. max-pooling和average-pooling的异同： max-pooling和average-pooling都对数据做了下采样，但max-pooling更像是做了一个特征选择的操作，选出了分类辨识度更好的特征，也提供了非线性，特征提取的误差主要来自2个方面：①领域大小受限造成的估计值方差增大 ②卷积层参数造成的估计均值的偏移。average-pooling能减小第一种误差，更多保留图像的背景信息，max-pooling能减小第二种误差，更多保留纹理信息。average-pooling更强调对整体特征信息进行下采样，在减少参数维度的贡献上多一点，更多体现在信息完整传递这个维度上，比如DenseNet模块间的连接大多数采用average-pooling，除此之外，average-pooling在全局平均池化中应用比较广，在ResNet和Inception中最后一层都用了平均池化，用全局平均池化可以替代flatten操作，使输入变成一维向量。
4. 梯度消失、爆炸：根本原因在于反向传播训练法则先天不足，不同层学习速率差异很大，表现为网络中靠近输出的层学习情况很好，靠近输入的层学习很慢，有时甚至训练了很久，前几层的权值和刚开始随机初始化的值差不多。具体而言，梯度消失可能是在深层网络中采用了不合适的激活函数。梯度爆炸一般出现在深层网络中和权重初始值太大的情况下。
5. 梯度消失、爆炸的解决方案：好的参数初始化方式（He、MSRA）；梯度裁剪和权重正则；非饱和的激活函数（ReLU）；BatchNormalization；残差结构；LSTM结构
6. CNN和RNN的梯度消失是一样的吗？
   基本一样，CNN因为网络层数太多导致，RNN因为时间迭代次数多导致，都是因为链式求导次数太多的原因。
7. 有哪些防