深度学习（一）

下面的题都是来自于牛客网的面试宝典

1.迁移学习

迁移学习就是把之前训练好的模型直接拿来用，可以充分利用之前数据信息，而且能够避免自己实验数据集较少等问题。简单来说，就是给模型做初始化，初始化的数据来自于训练好的模型。

例如利用coco数据集（图片达到十万多张）对残差网络进行训练，训练类别数量为80类别。如果个人检测的目标在80类别中，可以将上面训练的模型作为初始化。个人只需要提供较少的数据集，即可训练出不错的模型。

2.Batchnormalization的作用

神经网络在训练的时候，随着网络层数的加深，激活函数的输入值的整体分布逐渐往激活函数的取值区域上下限靠近，从而导致在反向传播时，低层的神经网络的梯度消失。而batch normalization的作用是通过规范化的手段，将越来越偏的分布拉回到标准化的分布，使得激活函数的输入值落在激活函数对输入比较敏感的区域，从而使梯度变大，加快学习收敛速度，避免梯度消失的问题。

3.梯度消失

4.什么是group convolution

group convolution又称为组卷积，是一种常见降低计算量的方法

计算方法
首先要将通道进行分组，然后对每一组进行卷积，卷积之后再进行通道的叠加

5.什么是RNN

一个序列当前的输出与前面的输出也有关，在RNN网络结构中，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出，网络会对之前的信息进行记忆，并应用于当前的输入计算中。

6.训练过程中，若一个模型不收敛，那么说明这个模型无效？导致模型不收敛的原因有哪些？

并不能说明这个模型无效。
导致模型不收敛的原因可能有数据分类的标注不准确；样本的信息量太大导致模型无法较好拟合整个样本空间；学习率设置的太大，导致容易产生震荡，太小会导致收敛速度太慢；可能复杂的分类任务用了简单的模型；数据没有进行归一化的操作。

7.图像处理中锐化和平滑的操作

锐化就是通过增强高频分量来减少图像中的模糊，在增强图像边缘的同时也增加了图像的噪声
平滑，与锐化相反，过滤掉高频分量，减少图像的噪声使得图片变得模糊

8.VGG使用3*3卷积核的优势？

2个33的卷积核串联和55的卷积核有相同的感受野，前者拥有更少的参数。
多个3*3的卷积核比一个较大尺寸的卷积核有更多层的非线性函数，增加了非线性表达，使得判决函数更具有判决性。

9. relu比sigmoid效果好在哪里？

Sigmoid的导数只有在0的附近时有较好的激活性,而在正负饱和区域的梯度趋向于0,从而产生梯度弥散的现象

relu在大于0的部分梯度为常数,所以不会有梯度弥散现象。Relu的导数计算的更快。Relu在负半区的导数为0,所以神经元激活值为负时,梯度为0,此神经元不参与训练,具有稀疏性。

10.神经网络中权重共享的是？

权重共享的神经网络有卷积神经网络、循环神经网络。

11.神经网络激活函数？

sigmod、tanh、relu

12.在深度学习中，通常会finetuning已有的成熟模型，再基于新数据，修改最后几层神经网络权重，为什么？

实践中的数据集质量参差不齐，可以使用训练好的网络来进行提取特征。把训练好的网络当做特征提取器。—（分两种情况。第一种将训练好的模型作为网络的初始化，再次训练；第二种将训练好的模型作为网络的初始化并冻结，只让修改的层进行训练）

12.Attention机制的作用

减少处理高维输入数据的计算负担，结构化的选取输入的子集，从而降低数据的维度。让系统更容易地找到输入的数据中与当前输出信息相关的有用信息，从而提高输出的质量。帮助类似于decoder这样的模型框架更好地学习到多种内容模态之间的相互关系。

13.什么是dropout？Dropconnect的原理

在神经网络的训练过程中，对于神经单元按一定的概率将其随机从网络中丢弃，从而达到对每一个mini-batch都是训练不同网络的效果，防止过拟合。

防止过拟合方法的一种，与dropout不同的是，它不是按概率将隐藏层的节点输出清0，而是对每个节点与之相连的输入权值以一定的概率清0.