深度学习笔记（5）

本小结归纳整理卷积神经网络（ConvNet）~

1、深度神经网络的重要性在于打开了通向知识分层处理的复杂非线性模型和系统性方法的大门。

2、图像识别基本上算是一种分类问题，识别图像中的东西与将图像中的东西分类是一样的，因此卷积神经网络的输出层通常都采用多分类神经网络。

3、直接将原始图像用于图像识别而不考虑识别方法将会导致很差的结果。为了对比图像特征，需要提前处理图像。提取图像特征的算法包括SIFT、HOG等。

4、卷积神经网络在训练过程中自动生成特征提取器，而不是由人工设计。它由一些特殊的神经网络类型组成，这些神经网络的权重是在训练过程中确定的，将人工设定特征提取转变成自动生成特征提取是卷积神经网络的主要特点和优势。

 

5、特征提取神经网络的层数越深，图像识别的效果越好，代价是训练过程也更加困难。

6、卷积神经网络包含提取输入图像特征的神经网络和另外一个进行图像分类的神经网络，二者的权重都是在训练过程中确定的。其中特征提取神经网络包含大量成对的卷积层和池化层，卷积层通过卷积运算进行图像转换，池化层通过将邻近的像素合成为单个像素，降低图像维度。而分类神经网络通常采用普通的多分类神经网络。其典型结构如如图6-3所示。

7、卷积层生成的新图像叫做特征映射，特征映射突出原始图像的独特特征。卷积层生成特征映射的数量与卷积核的数量相等。卷积核都是二维矩阵，大小通常是3*3或者5*5，卷积核矩阵的值是在训练过程中确定的，在整个训练过程中不断得到优化，该过程类似于普通神经网络中连接权重的更新过程。

8、在输出由卷积核提取的该层特征映射之前，要先经过激活函数处理，该激活函数与普通神经网络的激活函数是一样的，尽管在大多数应用中采用ReLU函数，但实际上Sigmoid函数和Tanh函数也很常用。另外根据问题的不同，有时也会取消激活函数。

9、池化通过将某一特定区域内的相邻像素合并成单个代表值来减小图像尺寸，是一种典型的图像处理技术。

10、执行池化层运算过程，需要确定怎样从图像中选择需要池化的像素以及怎样设置代表值。通常将被选择像素的均值或者最大值作为这个代表值。

11、池化过程也是一种卷积运算，池化层与卷积层的不同之处在于池化层是固定的，并且池化层的卷积区域不重叠。池化层在某种程度上可以补偿图像中偏离中心和倾斜的对象。另外，由于池化过程减少了图像尺寸，进而减少了计算量、防止了过拟合。