AI作业10-经典卷积网络

1. LeNet & MNIST

   LeNet是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络，该神经网络充分考虑图像的相关性。MNIST数据集（Mixed National Institute of Standards and Technology database）是一个用来训练各种图像处理系统的二进制图像数据集，广泛应用于机器学习中的训练和测试。

2. AlexNet & CIFAR

   [AlexNet]经典网络由Alex Krizhevsky、Hinton等人在2012年提出.。AlexNet架构：5个卷积层(Convolution、ReLU、LRN、Pooling)+3个全连接层(InnerProduct、ReLU、Dropout)。其有诸多优点， 1.激活函数使用ReLU替代Tanh或Sigmoid加快训练速度，解决网络较深时梯度弥散问题。 2.训练时使用Dropout随机忽略一部分神经元，以避免过拟合。 3.使用重叠最大池化(Overlapping Max Pooling)，避免平均池化时的模糊化效果。 4.使用LRN对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其它反馈较小的神经元，增强了模型泛化能力。 5.数据扩充：训练时随机地从256256的原始数据中截取227227大小的区域，水平翻转；光照变换。增加了数据量，大大减少过拟合，提升泛化能力。

   CIFAR是由Alex Krizhevsky、Vinod Nair和Geoffrey Hinton收集而来，起初的数据集共分10类。CIFAR共包含60000张32*32的彩色图像（包含50000张训练图片，10000张测试图片），其中没有任何类型重叠的情况。

3. VGG Net

   VGGNet由牛津大学计算机视觉组合和Google DeepMind公司研究员一起研发的深度卷积神经网络。它探索了卷积神经网络的深度和其性能之间的关系，通过反复的堆叠33的小型卷积核和22的最大池化层，成功的构建了16~19层深的卷积神经网络。

4. GoogLeNet & Inception v1

   GoogLeNet，而不是GoogleNet，这是为了致敬LeNet。GoogLeNet在加深度的同时做了结构上的创新，引入了一个叫做Inception的结构来代替之前的卷积加激活的经典组件。 GoogLeNet中的基础卷积块叫作Inception块，Inception块里有4条并行的线路。前3条线路使用窗口大小分别是1×1、3×3和5×5的卷积层来抽取不同空间尺寸下的信息，其中中间2个线路会对输入先做1×1卷积来减少输入通道数，以降低模型复杂度。第4条线路则使用3×3最大池化层，后接1×1卷积层来改变通道数。4条线路都使用了合适的填充来使输入与输出的高和宽一致。

5. ResNet

   ResNet 网络是在 2015年 由微软实验室中的何凯明等几位提出。ResNet也称为残差网，残差块由多个级联的卷积层和一个shortcut connections组成，将二者的输出值累加后，通过ReLU激活层得到残差块的输出。多个残差块可以串联起来，从而实现更深的网络。络。ResNet是由残差块构建的。