卷积神经网络（CNN）

转载文章1：https://blog.csdn.net/u014182497/article/details/72236703下面为此文章第4部分

4 CNN之卷积计算层

 

4.1 什么是卷积

    首先，我们来了解下什么是卷积操作。

    对图像（不同的数据窗口数据）和滤波矩阵（一组固定的权重：因为每个神经元的权重固定，所以又可以看做一个恒定的滤波器filter）做内积（逐个元素相乘再求和）的操作就是所谓的『卷积』操作，也是卷积神经网络的名字来源。

    比如下图中，图中左边部分是原始输入数据，图中中间部分是滤波器filter，图中右边是输出的新的二维数据。

 

    分解下上图

对应位置上是数字先相乘后相加 =

    中间滤波器filter与数据窗口做内积，其具体计算过程则是：4*0 + 0*0 + 0*0 + 0*0 + 0*1 + 0*1 + 0*0 + 0*1 + -4*2 = -8

 

4.2 图像上的卷积

    在计算过程中，输入是一定区域大小(width*height)的数据，和滤波器filter（一组固定的权重）做内积后等到新的二维数据。

    对于下图中，左边是图像输入，中间部分就是滤波器filter（一组固定的权重），不同的滤波器filter会得到不同的输出数据，比如颜色深浅、轮廓。相当于如果想提取图像的不同特征，则用不同的滤波器filter，提取想要的关于图像的特定信息：颜色深浅或轮廓。

    如下图所示

  

 

 

4.3 GIF动态卷积图

    在CNN中，滤波器filter对局部输入数据进行卷积计算。每计算完一个数据窗口内的局部数据后，数据窗口不断平移滑动，直到计算完所有数据。这个过程中，有这么几个参数： 
　　a. 深度depth：神经元个数，决定输出的depth厚度。 
　　b. 步长stride：决定滑动多少步可以到边缘 
　　c. 填充值zero-padding：在外围边缘补充若干圈0，方便从初始位置以步长为单位可以刚好滑倒末尾位置，通俗地讲就是为了总长能被步长整除。 

　　  

    cs231n课程中有一张卷积动图，貌似是用d3js 和一个util 画的，我根据cs231n的卷积动图依次截取了18张图，然后用一gif 制图工具制作了一gif 动态卷积图。如下gif 图所示，可以看到：

• 两个神经元，即depth=2
• 数据窗口每次移动两个步长取3*3的局部数据，即stride=2
• zero-padding=1

    然后分别以两个滤波器filter为轴滑动数组进行卷积计算，得到两组不同的结果。

 

    如果初看此图，可能不一定能立马理解啥意思，但结合上文的内容后，理解这个动图已经不是很困难的事情：左边是输入，中间部分是两个不同的滤波器Filter w0、Filter w1，最右边则是两个不同的输出。

 

    随着左边数据窗口的平移滑动，滤波器Filter w0 / Filter w1对不同的局部数据进行卷积计算。

    值得一提的是：

• 左边数据在变化，每次滤波器都是针对某一局部的数据窗口进行卷积，这就是所谓的CNN中的局部感知机制。
• 与此同时，数据窗口滑动，但中间滤波器Filter w0的权重（即每个神经元连接数据窗口的权重）是固定不变的，这个权重不变即所谓的CNN中的参数（权重）共享机制。

    我第一次看到上面这个动态图的时候，只觉得很炫，另外就是据说计算过程是“相乘后相加”，但到底具体是个怎么相乘后相加的计算过程 则无法一眼看出，网上也没有一目了然的计算过程。本文来细究下。

    首先，我们来分解下上述动图，如下图

    接着，我们细究下上图的具体计算过程。即上图中的输出结果-1具体是怎么计算得到的呢？其实，类似wx + b，w对应滤波器Filter w0，x对应不同的数据窗口，b对应Bias b0，相当于滤波器Filter w0与一个个数据窗口相乘再求和后，最后加上Bias b0得到输出结果-1，如下过程所示：

（1* 0 + 1*0 + -1*0） +（-1*0 + 0*0 + 1*1）+（-1*0 + -1*0 + 0*1）

+

（-1*0 + 0*0 + -1*0）+（0*0 + 0*1 + -1*1）+（1*0 + -1*0 + 0*2）

+

（0*0 + 1*0 + 0*0）+（1*0 + 0*2 + 1*0）+（0*0 + -1*0 + 1*0）

+1

=1

    然后滤波器Filter w0固定不变，数据窗口向右移动2步，继续做内积计算，得到0的输出结果

 

 

    最后，换做另外一个不同的滤波器Filter w1、不同的偏置Bias b1，再跟图中最左边的数据窗口做卷积，可得到另外一个不同的输出。