CS231n 学习笔记（九）

时间：2019/3/31
内容：视觉之外的CNN

课时12：视觉之外的CNN

将每个filter（卷积核）以相同的方式滑过整个图像空间，他们具有相同的权重和参数

注意：

• 卷积核的数量就是得到输出的深度
• 上图中这些不同的卷积核作用于图像中相同的区域，而且他们有相同的参数，但他们的作用是不同的

与全连接作对比：

对于全连接，在激活区域或者输出中，每一个神经元都连接这平展后的所有输入，所以神经元与全体输入量都发生联系，而不是像卷积核这样，只与图像的一个局部区域发生关联

• 池化层功能：让所生成的表示更小且更容易控制。为何要让所生成的表示尽量小？这是为了最后有更少的参数，也关系到给定域内的不变性问题
• 池化层做的事情是降采样（采样点数减少）处理
• 我们不会做深度方向的池化处理，而是只做平面上的，因此输入的深度和输出的深度一样
• 最常见的方法是最大池化法
  
• 在上图中，卷积核的大小和我们要池化处理的区域大小是相同的
• 采用与之前相同的原理划过整个输入图片，但我们不进行去数量积的运算，只提取其中的最大值
• 对于池化层，通常会设定步长使得移动时没有重叠（原因：我们希望进行降采样处理。对于给定的一个区域避免重叠，并用一个数值来表示这个区域）
• 最大池化比其他方式例如均值池化的优势：
  神经元的每个激活值都在一定程度上表示了在这个位置，某个神经元即某组卷积核的激发程度。可以把最大池化看成这组卷积核在图像任意区域的受激程度表示，说白了，它是最直观的。
• 滑动步长、池化所实现的都是降采样，现实操作中，也有只用比例性地滑动步长的，但结合起来应该效果更好

经过池化后的输出：

• 设置的超参数：卷积核尺寸、池化的空间范围、步长
  -比如5*5的filter，则spatial extent就是5
  一般不在池化层像之前卷积层那样padding zero，因为池化层只做降采样。这样就不会导致卷积核扫过边缘时有一部分超出了输入的范围
  池化层典型设置：
  

• 这里展示的是每层的激活映射（即输出）

• 上图是分散池化

• 结尾处是全连接层。将卷积网络最后一层的输出（固定尺寸的矩阵）直接拉平，得到一维输入，与朴素神经网络连接，得到卷积网络最后的全连接层。即与每一个卷积输出相连接的权重

• 在bottom level寻找边缘或一些简单结构

• 参考资料：