神经网络与深度学习课程总结03

1.基本卷积神经网络

1.1AlexNet

   AlexNet一共有8层可学习层——5层卷积层和3层全连接层，对比LeNet5，池化层均采用最大池化，选用ReLU作为非线性环节激活函数，网络规模扩大，参数数量接近6000万，出现“多个卷积层+一个池化层”的结构。AlexNet的主要特征是随网络深入，宽、高衰减，通道数增加。

 1.2VGG-16

   VGG-16对比LeNet5和AlexNet，网络规模进一步增大，参数数量约为1.38亿，由于各卷积层、池化层的超参数基本相同，整体结构呈现出规整的特点。VGG-16的主要特征是随网络深入，高和宽衰减，通道数增多。

梯度消失问题

 1.3残差网络

普通网络的基准模型受VGG网络的启发，卷积层主要有3×3的过滤器，并遵循两个简
单的设计规则:①对输出特征图的尺寸相同的各层，都有相同数量的过滤器; ②如果特征
图的大小减半，那么过滤器的数量就增加一倍，以保证每一层的时间复杂度相同。ResNet模型比VGG网络更少的过滤器和更低的复杂性。ResNet具有34层的权重层，有36亿FLOPs，只是VGG-19（19.6亿FLOPs）的18%。

1.4常用数据集

MNIST：由0〜9手写数字图片和数字标签所组成的，由60000个训练样本和10000个测试样
本组成，每个样本都是一张28 * 28像素的灰度手写数字图片。

Fashion-MNIST：一个替代 MNIST 手写数字集 的图像数据集。它是由 Zalando旗下的研究部门提供，涵盖了来自 10 种类别的共 7 万个不同商品的正面图片。大小、格式和训练集/测试集划分与原始的MNIST 完全一致。60000/10000 的训练测试数据划分，28x28的灰度图片。你可以直接用它来测试你的机器学习和深度学习算法性能，且不需要改动任何的代码。

CIFAR-10：由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像数据集分为五个训练批次和一个测试批次，每个批次有10000个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像。

PASCAL VOC、MS COCO、ImageNet、ISLVRC 2012