19 卷积层 [动手学深度学习v2]

1. 两个原则：

   • 平移不变性
   • 局部性

   这两个在图片里面找模式的原则启发了之后的设计。

2. 重新考察全连接层

   1. 将输入和输出变形为矩阵（宽度，高度）

   2. 将权重变形为4-D张量：（$h$, $w$）到（$h^{\prime }$, $w^{\prime }$）
      $$h_{i,j}=\sum _{k,l}{w}_{i,j,k,l}{x}_{k,l}=\sum _{a,b}{v}_{i,j,a,b}{x}_{i+a,j+b}$$
      $V$是$W$的重新索引：$v_{i,j,a,b}=w_{i,j,i+a,j+b}$

3. 原则 #1 - 平移不变性

   • $x$的平移导致$h$的平移：$h_{i,j}={\sum }_{a,b}{v}_{i,j,a,b}{x}_{i+a,j+b}$

   • $v$不应该依赖于（$i$, $j$）[（$a$, $b$）可以看作是我们要识别的东西]

   • 解决方案：加一个限制，$v_{i,j,a,b}=v_{a,b}$
     $$h_{i,j}=\sum _{a,b}{v}_{a,b}{x}_{i+a,j+b}$$
     这就是2维卷积（交叉相关）

4. 原则 #2 - 局部性

   • 当评估$h_{i,j}$时，我们不应该用远离$x_{i,j}$的参数

   • 解决方案：当$|a|,|b|>\Delta$时，使得$v_{a,b}=0$
     $$h_{i,j}=\sum _{a=-\Delta }^{\Delta }\sum _{b=-\Delta }^{\Delta }{v}_{a,b}{x}_{i+a,j+b}$$

5. 对全连接层使用平移不变性和局部性得到卷积层
   $$h_{i,j}=\sum _{a,b}{v}_{i,j,a,b}{x}_{i+a,j+b}\to h_{i,j}=\sum _{a=-\Delta }^{\Delta }\sum _{b=-\Delta }^{\Delta }{v}_{a,b}{x}_{i+a,j+b}$$

6. 交叉相关 vs 卷积

   • 二维交叉相关
     $$y_{i,j}=\sum _{a=1}^h\sum _{b=1}^w{w}_{a,b}{x}_{i+a,j+b}$$

   • 二维卷积
     $$y_{i,j}=\sum _{a=1}^h\sum _{b=1}^w{w}_{-a,-b}{x}_{i+a,j+b}$$

   • 由于对称性，在实际使用中没有区别

7. 卷积层将输入和核矩阵进行交叉相关，加上偏移后得到输出；核矩阵和偏移是可学习的参数；核矩阵的大小是超参数（局部性）。

8. 互相关运算

   import torch
   
   def corr2d(X, K):
       """计算二维互相关运算"""
       h, w = K.shape
       Y = torch.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1))
       for i in range(Y.shape[0]):
           for j in range(Y.shape[1]):
               Y[i, j] = (X[i:i + h, j:j + w] * K).sum()
        return Y