AI作业10

1. LeNet & MNIST

LeNet是卷积神经网络的开山之作，也是将深度学习推向繁荣的一座里程碑。Yann LeCun于上世纪90年代提出了LeNet，他首次采用了卷积层、池化层这两个全新的神经网络组件；LeNet在手写字符识别任务上取得了瞩目的准确率。LeNet网络有一系列的版本，其中以LeNet-5版本最为著名，也是LeNet系列中效果最佳的版本。LeNet-5使用5个卷积层来学习图像特征；卷积层的权重共享特点使得它相较于全连接层，节省了相当多的计算量与内存空间；同时卷积层的局部连接特点可以保证图像的空间相关性。

MNIST数据集来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST)。训练集（training set）由来自250个不同人手写的数字构成，其中50%是高中学生，50%来自人口普查局（the Census Bureau）的工作人员。测试集（test set）也是同样比例的手写数字数据，但保证了测试集和训练集的作者集不相交。MNIST数据集一共有7万张图片，其中6万张是训练集，1万张是测试集。每张图片是28 × 28 28\times 2828×28的0 − 9 0-90−9的手写数字图片组成。每个图片是黑底白字的形式，黑底用0表示，白字用0-1之间的浮点数表示，越接近1，颜色越白。

2. AlexNet & CIFAR

AlexNet由Geoffrey和他的学生Alex提出，并在2012年的ILSVRC竞赛中获得了第一名。Alexnet共有8层结构，前5层为卷积层，后三层为全连接层。

CIFAR是由Alex Krizhevsky、Vinod Nair和Geoffrey Hinton收集而来，起初的数据集共分10类，分别为飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车，所以CIFAR数据集常以CIFAR-10命名。CIFAR共包含60000张32*32的彩色图像（包含50000张训练图片，10000张测试图片），其中没有任何类型重叠的情况。

3. VGG Net

VGG是Oxford的Visual Geometry Group的组提出的。该网络是在ILSVRC 2014上的相关工作，主要工作是证明了增加网络的深度能够在一定程度上影响网络最终的性能。

VGG16相比AlexNet的一个改进是采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核（11x11，7x7，5x5）。对于给定的感受野（与输出有关的输入图片的局部大小），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比较小（参数更少）。

简单来说，在VGG中，使用了3个3x3卷积核来代替7x7卷积核，使用了2个3x3卷积核来代替5*5卷积核，这样做的主要目的是在保证具有相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果。

4. GoogLeNet & Inception v1

Inception模块引入了1x1卷积层来降低计算复杂度和网络参数量，GoogLeNet是由Google公司开发的一种深层卷积神经网络模型，使用了多个Inception来提高网络的效率和准确性，因此又被称为Inception v1，每个Inception模块由多个并行的卷积层和池化层组成，以允许网络同时学习多个尺度的特征信息。

5.ResNet

残差神经网络(ResNet)是由微软研究院的何恺明、张祥雨、任少卿、孙剑等人提出的。ResNet 在2015 年的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）中取得了冠军。残差神经网络的主要贡献是发现了“退化现象（Degradation）”，并针对退化现象发明了 “快捷连接（Shortcut connection）”，极大的消除了深度过大的神经网络训练困难问题。神经网络的“深度”首次突破了100层、最大的神经网络甚至超过了1000层。