第一模块 深度学习入门

第一模块 深度学习入门

1.关于卷积
卷积的主要目的是为了从输入图像中提取特征。卷积可以通过从输入的一小块数据中学习到图像的特征，并且可以保留像素的空间关系。

卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。
通过感受野和权值共享减少了神经网络需要训练的参数的个数。卷积运算一个重要的特点就是，通过卷积运算，可以使原信号特征增强，并且降低噪音
（1）如果我们有1000x1000像素的图像，有1百万个隐层神经元，那么他们全连接的话（每个隐层神经元都连接图像的每一个像素点），就有1000x1000x1000000=10^{12个连接，也就是10}12个权值参数。然而图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局的信息了。这样，我们就可以减少连接的数目，也就是减少神经网络需要训练的权值参数的个数了.

在CNN术语中，3X3的矩阵叫做 滤波器（filter）或者卷积核(kernel) 或者 特征检测器（常用称作卷积核），通过图像上滑动滤波器并且计算点乘得到的矩阵叫做 “卷积特征（Convolved feature）"滤波器在原始输入图像上的作用是特征检测器。在实践中CNN会在训练过程中学习到的这些滤波器的值，我们使用的滤波器越多，提取到的图像特征就越多，网络所能在未知图像上识别的模式就越好。特征图的大小由三个参数控制，我们需要在卷积前确定它们：
（1）深度：深度对应的是卷积操作所需要的滤波器的个数。
（2）步长：步长是我们在输入矩阵上滑动滤波器矩阵的像素数。当步长为1时，我们每次移动滤波器一个像素的位置。当步长为二时，每次移动滤波器会跳动2个像素。步长越大，讲会得到更小的特征图。
（3）填充，对应padding参数的设置吧。有时，在输入矩阵的边缘使用零值进行填充。这样我们可以对输入图像矩阵的边缘进行滤波。零填充的一大好处是可以让我们控制特征图的大小。使用零填充的也叫翻卷机，不适用零填充的叫做
严格卷积。

2.非线性处理
这部分主要是激活函数了，relu函数，tanh函数，sigmoid函数relu用的比较多。

3.池化操作
池化操作，也叫做下采样，降低了各个特征图的维度，但可以保持大部分重要的信心。卷积主要是提取特征，池化主要是压缩特征。可以减少数据处理量同时保留有用信息.
常用的池化操作包括：最大化，平均化，加和等。
池化可以控制特征的维度，见识网络中的参数和计算量，控制过拟合池化可以使网络对输入图像的变化，冗余不敏感，微小的变化不会影响输出。获得图像最大程度上的尺度不变性除此之外，池化还是一个无限强的先验。
目前常用的池化方式为 max pooling

4.全连接层
卷积和池化层的输出表示了输入图像的高级特征，全连接层的目的是为了使用这些特征把输入图像基于训练数据进行分类。

**必看文章，特别值得推荐的相关参考：**https://www.cnblogs.com/wj-1314/p/9593364.html