神经网络-卷积神经网络

卷积神经网络最基本的操作：卷积、池化、全连接

1、卷积操作

什么是卷积操作？我们先定义一个目的，让卷积神经网络去识别数字 “17” 和字母 “L”。

有三张图片，一个是数字17，还有两张是字母L，位置不同

    

定义三个不同的卷积核，我们把卷积核定义为3x3的，分别命名为A卷积核、B卷积核、C卷积核

  

首先是A卷积核跟第一张图片做卷积操作，A卷积核以如下图的顺序依次扫描，每扫描一个区域都要做内积运算。

例如：下图第一个图中，表示扫描到第一个区域，一一对应的位置，做个内积：0*0 + 1*0 + 0*0 + 0*0 + 1*1 + 0*0 + 0*0 + 1*1 +0*0 = 2。

也就是说，卷积核的第一个数字0乘以扫描区域的第一个数0，加上  卷积核的第二个数字1乘以扫描区域的第二个数0 ........ 一直加，下图中的图二也同样道理

从头扫描到尾以后，我们会发现这个卷积核的扫过的轨迹就是5x5的矩阵，那么就做了25次内积，每一次得到的内积都填进这个5x5矩阵对应的位置，就得到了特征矩阵

    

得到的特征矩阵：

我们发现，这个特别大的数字分布在左侧和右侧，也就是竖线这个特征分布在图像的左侧核右侧。因为我们选择的卷积核是一个竖线的那个，那么这张图片匹配竖线的地方就会凸现出来

同道，如果拿C卷积核去跟第二张图片做卷积（左下角为字母L的那张），我们就会发现，得出的特征矩阵左下角的数字会很大，说明字母L的特征分布在左下角。

如果拿C卷积核去跟第三张图片做卷积（有边下角为字母L的那张），我们会发现，得出的特征矩阵右上角的数字会很大，说明字母L的特征分布在右上角。

足以说明，图像的无论在什么位置，卷积神经网络都能识别出图像的特征来。

有些图片要有多个卷积核来匹配多个特征，例如判断数字17，就要用到A卷积核和B卷积核，如果发现得到的两个特征矩阵里边，其中一个矩阵的左侧和右侧的竖线分布的值非常大，并且，另一个矩阵的右上角"7"形状的数值也很大，那么基本上可以判断这个图片就是数字17。

数字越大，说明越拥有卷积核里面的特征，数字稍微小一点，说明特征表现得若一些，数字非常小，说明没有这个特征。

2、池化操作

池化操作就很简单了，池化的目的是减少数据量，如果通过卷积操作以后，得出的特征矩阵很大，就要将这个特征矩阵进行池化。

我们选择一个3x3的池化核，池化核没有参数，用下划线表示

对上面卷积操作得到的特征矩阵进行池化

还是老方法，池化核去扫描这个特征矩阵。如果是求最大值池化操作。

    。。。。。。。。

 

扫过的轨迹就是一个3x3的矩阵，每扫一个区域的时候，求最大值即可。也就是说，扫第一个区域的时候，最大值是3，第二个区域最大值是1，第三个区域最大值是3 .....以此类推。

得到如下特征矩阵矩阵，这个就是"最大值池化"的操作

我们发现，池化以后，还是保留了我们想要的特征，左侧核右侧都有明显的竖线特征的分布。

平均值池化不用多说，意思就是每扫描一个区域的时候，把9个数加起来求平均值，把每次求得的平均值按次序填入一个3x3的矩阵，得到池化后的特征矩阵。

3、全连接

卷积神经网络 = 卷积层 + 池化层 + 全连接层

所谓全连接层，就是上一章我们将的逻辑斯蒂回归模型的W*x这个东东，充当一个分类器，也就是说普通的神经网络。池化层的输出，是一个简化后的特征矩阵，这个特征矩阵作为输入再通过权重矩阵求积，得到一个输出，这个输出要通过一系列的激活函数得出一个概率值，从而得出分类判断。

 

下面是个人理解，仅供参考！！如果我的理解是错误的，感谢大神们指出来

其中C表示卷积核，x表示被卷积核覆盖部分的输入，x是一个矩阵，F表示特征矩阵，max(F)表示把特征矩阵进行池化操作

（1）上面说到，我们使用了3x3的卷积层，覆盖的区域为3x3九宫格，所以有9个输入被覆盖，被覆盖的9个输入数值逐个对应位置与卷积核相乘并求和。

（2）我们使用的是3x3的池化核，我们在卷积层得到的输出是5x5的特征矩阵，所以池化核覆盖这个特征矩阵也是3x3九宫格，特征矩阵作为输入进入max(F)进行池化

（3）池化层的输出就是简化后的特征矩阵

（4）简化后的特征矩阵，再跟一些分类器，即一些权重矩阵做乘积，然后仍然是一系列的激活函数，得到每个分类的概率值