【卷积神经网络】

问题引出

分类猫和狗的图片

• 使用一个还不错的相机采集图片(12M像素)
• RGB图片有36M元素
• 使用100大小的单隐藏层MLP,模型有3.6B元素
  • 远多于世界上所有猫和狗总数（900M狗，600M猫）

如果我们想在一张图片中寻找特定元素

那么它应该满足两个原则：

• 平移不变性（即无论他出现在图片的哪个部分，其特征应该相同）
• 局部性（只需要关注目标周围的特征，而不需要记住全局）

从全连接层出发得到卷积层

• 之前我们的输入是一个1-D的向量，但如果我们对灰度图不进行压缩，他将有两个纬度的信息（Weight and Height），因此我们重新将输入变成一个2-D的矩阵，同时输出也是一个2-D的矩阵

• 之前我们要表示某个全连接层之间的参数，只需要两个位置信息$i,j$，那么$w_{i,j}$就表示前一层$i$位置的特征与后一层$j$位置的输出；但对于矩阵而言我们将需要4个位置参数：
  $$h_{i,j}=\sum _{k,l}{w}_{i,j,k,l}{x}_{k,l}=\sum _{a,b}{v}_{i,j,a,b}{x}_{i+a,j+b}$$

  • 这里$h_{i,j}$表示输出层的具体一个点，$x_{k,l}$表示输入层的具体一个点，$w_{i,j,k,l}$表示连接这两个点的参数
  • 其中$k、l$可以看作是绝对位置，而$a、b$是基于$i、j$的相对位置

我们再来看上面的两个原则：

平移不变性

• 对于上面的$h_{i,j}$，$x$的平移必然会导致$h$的变化

• 因此$v$不应该依赖于$(i,j)$

• 解决方案：$$v_{i,j,a,b}=v_{a,b}$$$$h_{i,j}=\sum _{a,b}{v}_{a,b}{x}_{i+a,j+b}$$

• 这就是二维交叉相关

局部性

• 当评估$h_{i,j}$时，我们不应该用远离$x_{i,j}$的参数
• 解决方案：当$|a|,|b|>△$时，使得$v_{a,b}=0$$$h_{i,j}=\sum _{a=-△}^{△}\sum _{b=-△}^{△}{v}_{a,b}{x}_{i+a,j+b}$$

总结

• 对全连接层使用平移不变性和局部性得到卷积层

卷积层

下面是一个简单的二维卷积层

• 输入$X$：$n_h\times n_w$
• 核$W$：$k_h\times k_w$
• 偏差$b\in R$
• 输出$Y$：$(n_h-k_h+1)\times (n_w-k_w+1)$$$Y=XW+b$$
• $W$和$b$都时可学习的参数

总结

• 卷积层将输入和核矩阵进行交叉相关，加上偏移后得到输出
• 核矩阵和偏移是可学习的参数
• 核矩阵的大小是超参数

填充和步幅

填充

• 在输入周围添加额外的行/列
  
• 如果我们填充$p_h$行和$p_w$列，那么输出的形状为：
  $$(n_h-k_h+p_h+1)\times (n_w-k_w+p_w+1)$$
• 如果我们选择$p_h=k_h-1$，$p_w=k_w-1$，那么输入输出的纬度将相同
  • 当$k_h$为奇数：在上下两侧填充$p_h/2$
  • 当$k_h$为偶数：在上侧填充多一行，下侧填充少一行
    

步幅

• 填充减小的输出大小与层数线性相关

  • 给定输入大小224×224，在使用5×5卷积核的情况下，需要44层将输出降低到4×4
  • 需要大量计算才能得到较小输出

• 步幅是指行/列的滑动步长

  • 例：高度3宽度2的步幅
    
    

• 给定高度$s_h$和宽度$s_w$的步幅，输出形状是
  $$\lfloor (n_h-k_h+p_h+s_h)/s_h\rfloor \times \lfloor (n_w-k_w+p_w+s_w)/s_w\rfloor$$

• 如果$p_h=k_h-1$，$p_w=k_w-1$，那么可以简化为：
  $$\lfloor (n_h-1+s_h)/s_h\rfloor \times \lfloor (n_w-1+s_w)/s_w\rfloor$$

• 更进一步，如果输入的高度和宽度刚好能被对应的步幅整除：
  $$(n_h/s_h)\times (n_w/s_w)$$
  总结

• 填充和步幅是卷积层的超参数

• 填充在输入周围添加额外的行/列，来控制输出形状的减少量

• 步幅是每次滑动核窗口时的行/列的步长，可以成倍的减少输出形状

多输入输出通道

• 彩色图像可能有RGB三个通道
• 转换为灰度会丢失信息
  
  多个输入通道
• 每个通道都有一个卷积核，结果是所有通道卷积结果的和
  
• 输入$X$：$c_i\times n_h\times n_w$
• 核$W$：$c_i\times k_h\times k_w$
• 输入$X$：$m_h\times m_w$
  $$Y=\sum _{i=0}^{c_i}{X}_{i,:,:}{W}_{i,:,:}$$

多个输出通道

• 无论有多少输入通道，到目前为止我们只用到单输出通道
• 我们可以有多个三维卷积核，每个核生成一个输出通道
• 输入$X$：$c_i\times n_h\times n_w$
• 核$W$：$c_o\times c_i\times k_h\times k_w$
• 输入$X$：$c_o\times m_h\times m_w$
  $$Y_{i,:,:}=X{W}_{i,:,:,:}i=1,...,o$$

意义

• 每个输出通道可以识别特定模式
  
• 输入通道核识别并组合输入中的模式

1X1卷积层

• $k_w=k_h=1$是一个受欢迎的选择。它不识别空间模式，只融合通道
  
• 相当于输入形状为$n_h{n}_w$,权重为$c_i\times c_o$的全连接层

池化层

二维最大池化

• 返回滑动窗口的最大值
  
  填充、步幅和多个通道
• 池化层与卷积层类以，都具有填充和步幅
• 没有可学习的参数
• 在每个输入通道应用池化层以获得相应的输出通道
• 输出通道数=输入通道数

平均池化层

• 平均池化层：将最大池化层中的“最大”操作替换为“平均”

总结

• 池化层返回窗口中最大或平均值
• 缓解卷积层会位置的敏感性
• 同样有窗口大小、填充、和步幅作为超参数