机器学习总结之卷积神经网络一些点

版权声明：本文为博主原创作品，转载请标明出处

1 卷积层的使用：滤波器虽然是一个矩阵，但是深层角度来说是有很多种类的，比如整体边缘滤波器，纵向边缘滤波器，横向边缘滤波器，比如通过横向边缘滤波器就可以保留横向边缘信息。事实上，卷积神经网络中的卷积核参数都是通过网络学习得出的，除了可以学到类似于横向，纵向边缘滤波器，还可以学到任意角度的边缘滤波器。不仅如此，检测颜色，形状，纹理等众多基本模式的滤波器都可以包含在一个足够复杂的深层卷积神经网络中。通过组合这些滤波器以及随着网络后续操作的进行，基本一般的模式会逐渐被抽象为具有高层语义的概念，并一次对应到具体的样本类别。类似“盲人模型”

2 卷积核的参数 输入m*n*c 卷积核为3*3，有m个卷积核，则一共有多少个参数呢? (3*3*c+1)*m

3 卷积神经网络输出层的尺寸

假设输入层数据为W1*H1*D 滤波器数量为K，滤波器的空间尺寸为F，步长为S，零填充数量为P

输出数据的尺寸为：W2*H2*D2 W2=(W1-F+2P)/S+1 H2=(H1-F+2P)/S+1 D2=K （K=2^n）

4 使用padding的好处

• 可以充分利用和处理输入图像的边缘信息
• 搭配合适的卷积层参数可保持输入与输出同等大小，而避免随着网络深度的增加，输入大小极具减小

5 池化层的好处

• 特征不变性：回合操作是模型更加关注是否存在某些特征而不是具体特征的位置。可以看做是一种很强的先验，是特征学习包含某种程度的自由度，能容忍一些特征微小的位移；
• 特征降维:由于汇聚层的降采样作用，汇合结果中的一个元素对应于原输入数据的一个子区域，因此汇合相当于在空间范围内做客维度约减，从而使模型可以抽取更广泛的特征。同时，可以减小下一层的输入大小，进而减小计算量和参数个数，从而降低过拟合

6 为什么卷积神经网络可以共享权值；

因为图像具有平移不变性，如果在某一个地方学习到一个边界很重要，那么它在其他地方也同样是有用的；

7 共享权值的好处

• 降低了模型的复杂度，减低过拟合并降低计算量；
• 赋予了卷积神经网络对平移的容忍度；

8 为什么卷积层的步长一般设置为1

在实际应用中，更小的步长效果更好，这可以让空间维度的降采样全部由pooling负责。卷积层中负责对输入数据的深度进行变换。

9 随着网络的加深，会发生梯度弥散和梯度爆炸，如何解决

Batch normazation

10 为什么要对图像作归一化处理

• 神经网络的本质就是为了学习数据的分布，一旦训练数据的分布于测试数据的分布不同，那么网络的泛化能力将大大降低
• 一旦各个批次的数据分布不同，在每批次迭代都要重新去学习适应分布，这样会大大降低网络的训练速度
• 如何进行归一化：计算训练数据集的均值，然后测试集合验证集都要减去该均值

11 为什么要尽量使用步长为1，在实际应用中，步长为1的效果更好，，这可以让空间维度的降采样全部交给pooling层负责，而卷积层只对输入数据的深度进行变换。