【22-23 春学期】AI作业10-经典卷积网络

1. LeNet & MNIST

它是第一个成功应用于手写数字识别任务的卷积神经网络，在1998年提出。主要有以下几层组成：
1、输入层：接收黑白图像。
2、卷积层：通过卷积操作提取特图像征值。
3、池化层：对特征图进行下采样，减小数据尺寸。
4、全连接层：将特征图展平为一维向量，并通过多个全连接层进行分类。
5、输出层：最后一个全连接层输出归一化，得到对应概率。

2. AlexNet & CIFAR

AlexNet是一个经典的深度神经网络模型，由Alex Krizhevsky等人于2012年提出，并在ImageNet Large Scale Visual Recognition Challenge (ILSVRC)比赛中取得了很大的成功。它是一个具有8层神经网络结构的卷积神经网络（CNN），用于图像分类任务。

CIFAR（Canadian Institute for Advanced Research）数据集是一个常用的计算机视觉数据集，包含了已标记的60000个32x32彩色图像，分为10个类别，每个类别包含6000个图像。其中50000个图像用作训练集，10000个图像用作测试集。CIFAR数据集通常用于对图像分类算法的性能进行评估和比较。

3. VGG Net

VGG-Net采用更小的卷积核（3*3）和更深的网络结构，VGG将有权重的层（卷积层或者全连接层）叠加至16层，每隔x层，尺寸减半，深度翻倍。尺寸减半可以提高效率，深度翻倍有助于提取图像中更复杂的语义信息。

4. GoogLeNet & Inception v1

这俩是一个东西。同Alexnet和VGGnet不一样的是，它采用了多个卷积核进行同时卷积，一般为11，33以及5*5 的，这一操作被称为Inception模块。其次它采用了稀疏连接的方式，也就是是通过1x1卷积操作将不同通道的特征进行混合，从而减少冗余计算。还有在GoogLeNet的中间层添加了两个辅助分类器。这些辅助分类器对中间特征进行分类，并与主分类器共同计算损失。其他的池化和全连接的操作基本都大同小异。

5. ResNet

ResNet（残差网络）是由Kaiming He等人在2015年提出的一种深度卷积神经网络模型。它的设计思想是通过引入跳跃连接（skip connection）或者称为残差连接（residual connection），解决了深层网络训练时出现的梯度消失和梯度爆炸问题。

在传统的网络结构中，随着网络层数的增加，梯度会逐渐变小，导致训练过程变得困难。而ResNet通过在网络中添加捷径连接，允许信息在跨层之间直接传播，使得底层的信息可以更轻松地传递到顶层。这样的设计使得网络可以有效地训练深层结构，使得网络性能得到提升。

ResNet的核心组成部分是残差块（residual block），每个残差块由两个或三个卷积层组成。其中，首个卷积层用于降低特征图的维度，并进行特征提取；接下来的卷积层对特征图进行进一步的处理。最后，通过将输入与输出相加，实现残差连接。通过堆叠多个残差块形成的深层网络，可实现更高阶的特征学习。

ResNet在图像分类、目标检测和语义分割等计算机视觉任务中取得了显著的性能提升，并成为了深度学习中重要的基础模型之一