《动手学深度学习》第十二天---二维卷积层

最近在学着看别人写的代码，对于卷积的过程不是很理解，刚好深度学习课程学到了。

利用CNN的组合性：每个卷积核可以看做某种特征的提取器。所谓组合性就是将卷积核提取的一些简单特征进行组合，得到更高级的特征。比如图像的人脸分类：
第一个卷积层，可能只是从原始图像像素中学习到一些边缘特征，第二个卷积层可以从这些边缘特征中探测到简单的形状特征，然后接下来的卷积层，就可以用这些简单的形状特征探测到更高级的特征。比如人脸的形状。

（一）二维互相关运算（cross-correlation）

卷积层中常用的算法是二维互相关运算，单个通道的互相关运算：（多通道）

如阴影部分过程大概是：
0×0+1×1＋3×2＋4×3=19，其他同。

from mxnet import autograd, nd
from mxnet.gluon import nn

def corr2d(X, K):  # 二维互相关运算，X为输入数组，K为核数组，输出数组为Y
    h, w = K.shape #h为卷积核的长，w为卷积核的宽
    Y = nd.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1))
    #Y的长应该是输入数组长度减去核数组长度加一，Y的宽是输入数组宽度减去核数组宽度加一，初始化为0数组。
    for i in range(Y.shape[0]):
        for j in range(Y.shape[1]):
            Y[i, j] = (X[i: i + h, j: j + w] * K).sum() #卷积计算方法，如上图
    return Y

（二）二维卷积层（Conv2D）

过程是将输入数组和卷积核进行互相关运算，再加上一个标量偏差来得到输出。

class Conv2D(nn.Block): #定义二维卷积层
    def __init__(self, kernel_size, **kwargs):
        super(Conv2D, self).__init__(**kwargs)
        self.weight = self.params.get('weight', shape=kernel_size)
        self.bias = self.params.get('bias', shape=(1,))
#  以classCount.get(key,default=None)为例： 
#  classCount.get(key,default)返回字典classCount中key元素对应的值,若无，则返回默认值（进行初始化）
        def forward(self, x):
            return corr2d(x, self.weight.data()) + self.bias.data()

（三）图像中物体边缘的检测

卷积层可以找到物体边缘，即找到像素变化的位置，有效表征局部区域：
首先构造一个图像X，像素为1表示白，像素为0 表示黑：

X = nd.ones((6, 8))
X[:, 2:6] = 0
X

然后构造卷积核，使它在做横向运算时，如果元素相同输出就为0，元素变化时输出为1，构造一个1×2的卷积核：

K = nd.array([[1, -1]])

对X和K进行互相关运算得到输出图像Y：

可以看到在由黑变白的区域和由白变黑的区域会产生分界线，0代表灰色，1代表白色，-1代表黑色。

思考题：如果是水平边缘呢？

（四）通过数据学习核数组

使用Gluon提供的Conv2D类实现自动求梯度，

class mxnet.gluon.nn.Conv2D(channels, kernel_size, strides=(1, 1), 
padding=(0, 0), dilation=(1, 1), groups=1, layout='NCHW', activation=None, 
use_bias=True, weight_initializer=None, bias_initializer='zeros', 
in_channels=0, **kwargs)

2d卷积层(例如图像上的空间卷积)。该层创建卷积核，该卷积核与层输入卷积以产生输出张量。如
果use_bias为真，则会创建一个偏置向量并将其添加到输出中。最后，如果激活不是无，它也应用
于输出。如果未指定in _ channel，参数初始化将推迟到第一次调用forward时进行，并且in _ c
hannel将从输入数据的形状中推断出来。

使用物体边缘检测中的输入数据X和输出数据Y来学习我们构造的核数组K。

conv2d = nn.Conv2D(1, kernel_size=(1, 2))
#构造一个输出通道为1，形状是1×2的卷积核
conv2d.initialize()

# 二维卷积层使用4维输入输出，格式为(样本, 通道, 高, 宽)，这里批量大小（批量中的样本数）和通
# 道数均为1

X = X.reshape((1, 1, 6, 8))     #4维输入输出（样本，通道，高，宽）
Y = Y.reshape((1, 1, 6, 7))

for i in range(10):     #训练十个周期
    with autograd.record():
        Y_hat = conv2d(X)      #由X和卷积核计算得到Y_hat
        l = (Y_hat - Y) ** 2      #l是有关小批量X和Y的损失
    l.backward()   #小批量的损失对模型参数求导
    # 简单起见，这里忽略了偏差
    conv2d.weight.data()[:] -= 3e-2 * conv2d.weight.grad()  
    #由于小批量大小为1，所以w=w-lr*△w
    if (i + 1) % 2 == 0:
        print('batch %d, loss %.3f' % (i + 1, l.sum().asscalar()))

可以对之前的例子实验一下：

（五）互相关运算和卷积运算

由于我们得到的卷积核基本上都是通过学习得到的，反向操作，所以无论我们是通过卷积运算还是互相关运算，正向操作时得到的结果都是基本一致的。

（六）特征图和感受野

特征图（fearture map）：二维卷积层的输出数组
x的感受野（receptive field）：影响x的前向计算的所有可能输入区域

输入中阴影部分的四个元素是输出中阴影部分元素的感受野。
如果考虑Y与另一个形状为2×2的核数组做互相关运算，输出单个元素z。那么，z在Y上的感受野包括Y的全部四个元素，在输入上的感受野包括其中全部9个元素。
所以更深的网络可以扩大输出数组的每个元素的感受野，从而捕捉更多的特征。

最后补充一下为什么卷积可以去噪？
以均值滤波为例，信号可以表示为g=f+n，f是实际值，n是加性高斯白噪声，均值为0，标准差为sigma。考虑一个3×3的平缓区域，真实值都是f0，那平均后g‘=f0+（n0+…+n
8）/9=f0+n’，n‘就是0均值标准差sigma/9的加性高斯白噪声，噪声就小了很多了。