《跟着李沐学AI》现代卷积神经网络笔记

LeNet

LeNet，它是最早发布的卷积神经网络之一，因其在计算机视觉任务中的高效性能而受到广泛关注。 这个模型是由AT&T贝尔实验室的研究员Yann LeCun在1989年提出的（并以其命名），目的是识别图像 [LeCun et al., 1998]中的手写数字。 当时，Yann LeCun发表了第一篇通过反向传播成功训练卷积神经网络的研究，这项工作代表了十多年来神经网络研究开发的成果。

深度卷积神经网络（AlexNet）

另一种预测这个领域发展的方法————观察图像特征的提取方法。在2012年前，图像特征都是机械地计算出来的。事实上，设计一套新的特征函数、改进结果，并撰写论文是盛极一时的潮流。SIFT [Lowe, 2004]、SURF [Bay et al., 2006]、HOG（定向梯度直方图） [Dalal & Triggs, 2005]、bags of visual words和类似的特征提取方法占据了主导地位。

另一组研究人员，包括Yann LeCun、Geoff Hinton、Yoshua Bengio、Andrew Ng、Shun ichi Amari和Juergen Schmidhuber，想法则与众不同：他们认为特征本身应该被学习。此外，他们还认为，在合理地复杂性前提下，特征应该由多个共同学习的神经网络层组成，每个层都有可学习的参数。在机器视觉中，最底层可能检测边缘、颜色和纹理。事实上，Alex Krizhevsky、Ilya Sutskever和Geoff Hinton提出了一种新的卷积神经网络变体AlexNet。在2012年ImageNet挑战赛中取得了轰动一时的成绩。AlexNet以Alex Krizhevsky的名字命名，他是论文 [Krizhevsky et al., 2012]的第一作者。

有趣的是，在网络的最底层，模型学习到了一些类似于传统滤波器的特征抽取器。 图7.1.1是从AlexNet论文 [Krizhevsky et al., 2012]复制的，描述了底层图像特征

汇聚层就是池化层

VGG

VGG11=8个卷积层+3个全连接层

网络中的网络（NiN）

提出了全局池化层的概念
参考:https://www.freesion.com/article/5936434427/
全连接层参数多。最初的NiN网络是在AlexNet后不久提出的，显然从中得到了一些启示。 NiN使用窗口形状为、和的卷积层，输出通道数量与AlexNet中的相同。 每个NiN块后有一个最大汇聚层，汇聚窗口形状为，步幅为2。

NiN和AlexNet之间的一个显著区别是NiN完全取消了全连接层。 相反，NiN使用一个NiN块，其输出通道数等于标签类别的数量。最后放一个全局平均汇聚层（global average pooling layer），生成一个对数几率 （logits）。NiN设计的一个优点是，它显著减少了模型所需参数的数量。然而，在实践中，这种设计有时会增加训练模型的时间

含并行连结的网络（GoogLeNet）（用1*1卷积改变通道数降低参数）

Inception块：
GoogleNet使用了9个块，是第一个达到上百层的网络。（并不是 指深度，深度的提升在ResNet）

ResNet

f(x)=x+g(x) 如果某一层的g(x)与标准值的误差比较小，梯度下降的时候W权重的更新就会很小，这时候从前两层中取到的输入x与这层的标准值相差较大，这时候的导数就大，两数相加就仍然能很好的进行梯度下降，以此就能训练更深的网络了。