李沐卷积神经网络学习笔记

从全连接到卷积

计算机视觉神经网络构架：1平移不变性2局部性

图像卷积

总结：
二维卷积层的核心计算是二维互相关运算。最简单的形式是，对二维输入数据和卷积核执行互相关操作，然后添加一个偏置。

我们可以设计一个卷积核来检测图像的边缘。

我们可以从数据中学习卷积核的参数。

学习卷积核时，无论用严格卷积运算或互相关运算，卷积层的输出不会受太大影响。

当需要检测输入特征中更广区域时，我们可以构建一个更深的卷积网

填充和步幅

n：图像大小
k：卷积核
p：填充
$$(n_h-k_h+p_h+1)\times (n_w-k_w+p_w+1)。$$

多个输入通道

总结：1、每个输出通道是卷积层的超参数 2、每个输入通道有独立的二维卷积核，所有通道结果相加得到一个输出通道结果 3、每个输出通道有独立的三维卷积核

每个通道都有一个卷积核，结果是所有卷积结果的核

多个输出通道

无论有多少输入通道，可以有多个卷积核，每个核生成一个输出通道

为每个输出通道创建一个形状为$c_i\times k_h\times k_w$的卷积核张量，这样卷积核的形状是$c_o\times c_i\times k_h\times k_w$，Y就是$c_o\times m_h\times m_w$

通道的作用：每个输出通道可以识别特定模式，高层将这些特定模式组合

1x1卷积层

的全连接层

二维卷积层

![在这里插入图片描述](https://img-blog.csdnimg.cn/717ee87b062f4be98fd50897ac98e35a.pn

池化层

卷积层对位置敏感，需要一定程度的平移不变性
MaxPooling（最大池化层）：返回滑动窗口中的最大值。2x2可容纳1像素移动

池化层特点

1、池化层与卷积层类似，都具有填充和步幅
2、没有可学习的参数
3、没有通道融合，每个通道池化，单独输出，输出通道数=输入通道数

平均池化层

取窗口平均值

总结

池化层返回窗口中最大或平均值
缓解卷积层对位置的敏感性
同样有窗口大小、填充和步幅作为超参数

深度学习pytorch框架中

nn.MaxPool2d(3):步幅和窗口大小相同，移动不重叠，位置不够了就舍去

卷积神经网络（LeNet）

LeNet是最早成功的神经网络
先使用卷积层来学习图片空间信息，然后使用全连接层来转换到类别空间