AI作业第10次

LeNet & MNIST
LeNet初步确立了卷积神经网络的基本结构，包含输入层，多个卷积层、池化层和全连接层，输出层。它被应用于支票或邮件编码的手写数字识别，虽然有些不足，但还是达到了很不错的效果，为后续CNN的发展奠定了基础。
MNIST是一个数据集，它在机器学习的视觉领域被广泛使用，其间数据是由手写的数字构成，主要应用于手写数字识别，作为训练集对LeNet神经网络进行训练，同时还作为测试集对其进行测试，以检验该神经网络的效果。
AlexNet & CIFAR
AlexNet创新技术点：
（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。
（2）训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。Dropout虽有单独的论文论述，但是AlexNet将其实用化，通过实践证实了它的效果。在AlexNet中主要是最后几个全连接层使用了Dropout。（3）在CNN中使用重叠的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet中提出让步长比池化核的尺寸小，这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。（4）提出了LRN层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。
（5）使用CUDA加速深度卷积网络的训练，利用GPU强大的并行计算能力，处理神经网络训练时大量的矩阵运算。AlexNet使用了两块GTX 580 GPU进行训练，单个GTX 580只有3GB显存，这限制了可训练的网络的最大规模。因此作者将AlexNet分布在两个GPU上，在每个GPU的显存中储存一半的神经元的参数。因为GPU之间通信方便，可以互相访问显存，而不需要通过主机内存，所以同时使用多块GPU也是非常高效的。同时，AlexNet的设计让GPU之间的通信只在网络的某些层进行，控制了通信的性能损耗。 
（6）数据增强，随机地从256256的原始图像中截取224224大小的区域（以及水平翻转的镜像），相当于增加了2*(256-224)^2=2048倍的数据量。如果没有数据增强，仅靠原始的数据量，参数众多的CNN会陷入过拟合中，使用了数据增强后可以大大减轻过拟合，提升泛化能力。进行预测时，则是取图片的四个角加中间共5个位置，并进行左右翻转，一共获得10张图片，对他们进行预测并对10次结果求均值。同时，AlexNet论文中提到了会对图像的RGB数据进行PCA处理，并对主成分做一个标准差为0.1的高斯扰动，增加一些噪声，这个Trick可以让错误率再下降1%。
CIFAR起初的数据集共分10类，包括飞机、汽车、船、卡车、鸟、猫、狗、青蛙等，所以CIFAR数据集常以CIFAR-10命名。CIFAR共包含60000张3232的彩色图像（包含50000张训练图片，10000张测试图片），其中没有任何类型重叠的情况。因为是彩色图像，所以这个数据集是三通道的，分别是R，G，B通道，，共有100类，叫CIFAR-100。它被作为了AlexNet神经网络的数据集，进行训练与测试。
VGG Net
(1).结构简洁：卷积层+ReLU、最大池化层、全连接层、Softmax输出层。
(2).使用连续几个较小卷积核(33)替换AlexNet中的较大卷积核且采用same padding(即p=(f-1)/2)，既减少参数，又进行了更多的非线性映射，可以增加网络的拟合能力。分为5段卷积，每段包括2至4卷积层。
(3).最大池化，小池化核(22)，stride为2。
(4).通道数即feature maps数逐渐翻倍增加，使得更多的信息可以被提取出来。
(5).训练时将同一张图像缩放到不同的大小，在随机裁剪到224224大小以及随机水平翻转，增加训练数据量。
(6).在测试阶段，将3个全连接层替换为3个卷积层，这样输入层可以接收任意宽或高的图像。
GoogLeNet & Inception v1
GoogLeNet引入了Inception结构，融合不同尺度的特征信息，使用1x1的卷积核进行降维以及映射处理，添加了两个辅助分类器帮助训练，丢弃全连接层，使用平均池化层，大大减少了模型参数。
Inception模块一个卷积层包含多个大小不同的卷积操作，它同时使用不同的卷积核，并将得到的特征映射在深度上拼接起来作为输出特征映射。
Resnet
Resnet残差神经网络用来解决层数过深时，神经网络训练效果变差的情况。使用非线性单元f(x,θ)逼近目标函数h(x)，目标函数h(x)拆成：恒等函数x和残差函数h(x)-x，h(x)＝x+（h(x)-x），另f(x,0)＝（h(x)-x）＝0，逐渐逼近。f(x,θ)有足够能力近似逼近原始目标函数h(x)或残差函数h(x)-x，实际中后者h(x)-x更容易学习。