神经网络 测试集loss不下降_【NLP高频面试题】神经网络及其优化

什么样的数据不适合用神经网络学习？

• 数据集太小，因为神经网络有效的关键就是大量的数据，有大量的参数需要训练，少量的数据不能充分训练参数。

• 数据集没有局部相关性。目前深度学习应用的领域主要是图像、语音、自然语言处理，这些领域的共性就是局部相关性。例如：图像中的像素组成物体，语音中的音位组成单词，文本数据中的单词组成句子，而深度学习的本质就是学习局部低层次的特征，然后组合低层次的特征成高层次的特征，得到不同特征之间的空间相关性。

什么是过拟合，什么是欠拟合？

过拟合：模型把数据学习的太彻底，以至于把噪声数据的特征也学习到了，这样就会导致在后期测试的时候不能够很好地识别数据，即不能正确的分类，模型泛化能力太差。

欠拟合：模型没有很好地捕捉到数据特征，不能够很好地拟合数据。

神经网络中的激活函数：对比ReLU与Sigmoid、Tanh的优缺点？

优点：

• 从计算的角度上，Sigmoid和Tanh激活函数均需要计算指数，复杂度高，而ReLU只需要一个阈值即可得到激活值；

• ReLU的非饱和性可以有效地解决梯度消失的问题，提供相对宽的激活边界。

•  ReLU的单侧抑制提供了网络的稀疏表达能力，和人脑的机制类似。

缺点：

ReLU和Sigmoid一样，它们的输出是非零中心化的，给后一层的神经网络引入偏置偏移， 会影响梯度下降的效率。

ReLU有哪些变种？

Leaky ReLU、ELU以及softplus函数。

卷积神经网络相比于前馈神经网络，由哪些部分构成？各部分作用分别是什么？

如果用全连接前馈网络来处理图像时，会存在以下两个问题：

• 参数太多；

• 很难提取局部不变特征。

卷积神经网络一般是由卷积层、池化层和全连接层交叉堆叠而成的前馈神经网络，使用反向传播算法进行训练。

卷积层的作用：局部连接，权重共享；

池化层(pooling layer)，也叫子采样层(subsampling layer)的作用：进行特征选择，降低特征数量，并从而减少参数数量。

在深度学习中，网络层数增多会伴随哪些问题，怎么解决？

• 计算资源的消耗(GPU)

• 模型容易过拟合(Dropout，正则化)

• 梯度消失/梯度爆炸问题的产生(批归一化BN、梯度裁剪、网络结构变更)：BN