深度学习中技术发展相关历史节点

1，入门数据集（MNIST），地位等同于编程语言中的“Hello World!”

2，起源，LeNet算是最早的卷积神经网络模型，确定了CNN的基本框架，包括卷积层，池化层，全连接层以及输出层。

3，崛起，深度学习的高速发展起源于AlexNet在ImageNet大赛中的出色表现。Alex在LeNet的框架上进行了大量的更新，包括数据增强、激活函数、随机失活、最大池化等，同事首次使用GPU进行加速。

4，VGGNet，在AlexNet的基础上进行优化的模型，使用多个更小的卷积核代替大卷积核，同时提出了1×1的卷积核，提高了非线性表达能力，同时减少了参数量。

5，Inception V1(GoogleNet)，核心特征：增加过滤器，扩宽网络；1×1卷积降维。（目前已发展到V4）

6，ResNet，不直接计算映射，而是学习输入输出之间的残差的方式。（这里可能理解错误，后续更改。，反正看现在的一些模型，ResNet被大量借鉴。）

7，Xception，与Inception相关性挺大，主要特点在于分别对各通道卷积后通过1*1卷积获取通道间的相关性。

参考文献：

https://blog.csdn.net/weixin_43850408/article/details/90635352