动手学深度学习笔记(二)

卷积神经网络

• 二维互相关运算：用一个二维数组和卷积核运算，即每个对应元素相乘再求和
  
• 二维卷积层：输入和卷积核做互相关运算，再加一个标准差作为输出，卷积核和标准差就是我们要迭代的参数
• 通过卷积的到不同的值来判断黑白图像的边缘
• 特征图：二维卷积层的输出
• 感受野：影响元素x的所有可能输入区域
• 填充：在输入的高和宽增加元素
• 步幅：卷积核滑动的步数
• 多输入通道：输入为若干个，分配等量的卷积核，再相加作为输出
• 多输出通道：输出为若干个
• 1X1卷积层相当于全连接层
• 池化层：为了缓解卷积层对位置的过度敏感性
• 二维最大池化层：求最大值
• 二维平均池化层：求均值
• 卷积神经网络(LeNet):卷积层保留输入形状，使的图像的高和宽的两个相关性可以被识别，卷积层还可以滑动窗口使一个卷积核和多个位置进行计算，避免参数尺寸过大
• 卷积层的基本单位：卷积层后加最大池化层；卷积识别图像特征，池化层减少位置敏感性
• 卷积层块的输出形状为**(批量大小, 通道, 高, 宽)，当在后面加全连接层时候，会自动将样本变平**；既全连接层输入形状将变成二维，其中第一维是小批量中的样本，第二维是每个样本变平后的向量表示，且向量长度为通道、高和宽的乘积
• 端到端：基于图像的原始像素进行分类
• VGG网络：使用重复简单的基础块来构建模型，使用通道增倍，高宽减半的设计使得大多数卷积层具有相同的模型参数和计算复杂度