1.基本卷积神经网络
1.1AlexNet
AlexNet一共有8层可学习层——5层卷积层和3层全连接层,对比LeNet5,池化层均采用最大池化,选用ReLU作为非线性环节激活函数,网络规模扩大,参数数量接近6000万,出现“多个卷积层+一个池化层”的结构。AlexNet的主要特征是随网络深入,宽、高衰减,通道数增加。
1.2VGG-16
VGG-16对比LeNet5和AlexNet,网络规模进一步增大,参数数量约为1.38亿,由于各卷积层、池化层的超参数基本相同,整体结构呈现出规整的特点。VGG-16的主要特征是随网络深入,高和宽衰减,通道数增多。
梯度消失问题
1.3残差网络
普通网络的基准模型受VGG网络的启发,卷积层主要有3×3的过滤器,并遵循两个简
单的设计规则:①对输出特征图的尺寸相同的各层,都有相同数量的过滤器; ②如果特征
图的大小减半,那么过滤器的数量就增加一倍,以保证每一层的时间复杂度相同。ResNet模型比VGG网络更少的过滤器和更低的复杂性。ResNet具有34层的权重层,有36亿FLOPs,只是VGG-19(19.6亿FLOPs)的18%。
1.4常用数据集
MNIST:由0〜9手写数字图片和数字标签所组成的,由60000个训练样本和10000个测试样
本组成,每个样本都是一张28 * 28像素的灰度手写数字图片。
Fashion-MNIST:一个替代 MNIST 手写数字集 的图像数据集。它是由 Zalando旗下的研究部门提供,涵盖了来自 10 种类别的共 7 万个不同商品的正面图片。大小、格式和训练集/测试集划分与原始的MNIST 完全一致。60000/10000 的训练测试数据划分,28x28的灰度图片。你可以直接用它来测试你的机器学习和深度学习算法性能,且不需要改动任何的代码。
CIFAR-10:由10个类的60000个32x32彩色图像组成,每个类有6000个图像。有50000个训练图像和10000个测试图像数据集分为五个训练批次和一个测试批次,每个批次有10000个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像。
PASCAL VOC、MS COCO、ImageNet、ISLVRC 2012