深度学习面试题2018

1、问题：如何优化模型 : 加速收敛， 避免overfit, 提升精度 ..？

答案：可以从以下几个参数开始：- batch size effect；- learning rate effect；- weight initialization effect；- batch normalization

- drop-out；- model average；- fine-tuning；- data augmentation

2、问题：CNN最成功的应用是在CV，那为什么NLP和Speech的很多问题也可以用CNN解出来？为什么AlphaGo里也用了CNN？这几个不相关的问题的相似性在哪里？CNN通过什么手段抓住了这个共性？

答案：几个不相关的问题的相关性在于，都存在局部与整体的关系，由低层次的特征经过组合，组成高层次的特征，并且得到不同特征之间的空间相关性。

CNN通过：局部感知、权值共享、池化操作、多层次结构抓住了这个共性。局部感知使网络可以提取数据的局部特征；权值共享大大降低了网络的训练难度；池化操作和多层次结构一起，实现了数据的降维，将低层次的特征组合成高层次的特征。

3、问题：什么时候用local-conv？什么时候用全卷积（每一个点用同一个filter）？

答案：当数据集具有全局的局部特征分布时，也就是说局部特征之间有较强的相关性，适合用全卷积。在不同的区域有不同的特征分布时，适合用local-Conv。

4、问题：什么样的资料不适合用深度学习？

答案：1）数据集太小，因为神经网络有效的关键就是大量的数据，有大量的参数需要训练，少量的数据不能充分训练参数。2）数据集没有局部相关性。目前深度学习应用的领域主要是图像、语音、自然语言处理，这些领域的共性就是局部相关性。例如：图像中的像素组成物体，语音中的音位组成单词，文本数据中的单词组成句子，而深度学习的本质就是学习局部低层次的特征，然后组合低层次的特征成高层次的特征，得到不同特征之间的空间相关性。

5、问题：何为共线性, 跟过拟合有啥关联?

答案：

• 共线性：多变量线性回归中，变量之间由于存在高度相关关系而使回归估计不准确。
• 共线性会造成冗余，导致过拟合。
• 解决方法：排除变量的相关性／加入权重正则。

6、问题：为什么引入非线性激励函数？

答案：因为如果不用非线性激励函数，每一层都是上一层的线性函数，无论神经网络多少层，输出都是输入的线性组合，与只有一个隐藏层效果一样。相当于多层感知机了。所以引入非线性激励函数，深层网络就变得有意义了，可以逼近任意函数。

7、问题：什么造成梯度消失？推导？

答案：许多激活函数将输出值挤压在很小的区间内，在激活函数两端较大范围的定义域内梯度为0，导致权重更新的缓慢训练难度增加，造成学习停止。（前面层上的梯度是来自后面的层上项的乘积，当层数过多时，随着乘积的累积，将越来越小。）

8、问题：CNN常见问题？

答案：a、梯度消失问题：过多的层数会导致梯度消失，解决手段：减少层数；增大学习率；用Relu代替sigmoid。

b、权重衰减：CNN的权重共享相当于自带某种正则项，所以代价函数里可不加正则

c、随机梯度下降的参数选择：

9、CNN优缺点：

优点：共享卷积核、减少了网络自由参数的个数，对高维数据处理无压力；无需手动选取特征，训练好权重，即得特征。降低神经网络的复杂性。这种网络结构在有监督的方式下学习到了一些良好的性能：对平移、比例缩放、倾斜或其他形式的变形具有高度不变性。

缺点：需要调参，需要大量样本；

10、神经网络优势:

可以利用神经网络中某一层的输出当做是数据的另一种表达，从而可以将其认为是经过神经网络学习到的特征，基于这一特征，可以进行进一步的相似度比较等操作。

有效的关键是大规模的数据，每个DL都有众多的参数，少量数据无法将参数训练充分。

发展缺陷：

随着网络层数的加深，优化函数越来越容易陷入局部最优解，并且这个“陷阱”越来越偏离真正的全局最优，利用有限数据训练的深层网络，性能还不如浅层网络。

随着网络层数增加，梯度消失现象越来越严重，（一般指sigmoid函数，反向传播时，每传递一层，梯度衰减为原来的1/4。层数一多，梯度指数衰减后，底层基本接收不到有效的训练信号。）

11、深度学习整体解释：

1）自下而上的非监督学习

2）自顶向下的监督学习