智能计算系统笔记——第三章深度学习（3.2基于卷积神经网络的图像分类算法）

智能计算系统笔记——第三章深度学习

参考：《智能计算系统》陈云霁，李玲，李威，郭崎，杜子东[著]

3.2基于卷积神经网络的图像分类算法

具有里程碑意义的一些网络模型有AlexNet、VGG、Inception系列(GoogLeNet)、ResNet等。

3.2.1AlexNet

AlexNet的成功得益于：
(1)使用多个卷积层。过去都是浅层神经网络，AlexNet真正把深度学习应用到了ImageNet这样比较复杂的问题上。通过使用多个卷积层，有效的提取了图像的特征，显著的提升了图像识别的精度。
(2)使用了ReLU，提高了训练速度。
(3)使用Dropout、数据扩充，缓解过拟合。

3.2.2VGG

VGG-D即经典的VGG-16，VGG-E即VGG-19。

VGG的成功得益于：
(1)使用了规则的多层小卷积替代了大卷积。在相同的视野下，有效减少了权重参数的数量，提高了训练速度。
(2)使用更深的卷积神经网络、在神经网络中使用更多的卷积层及非线性激活函数，提高了图像分类的准确率。
(3)通过预训练，对部分网络层参数进行初始化，提高了训练收敛速度。

3.2.3Inception

Inception-v1(GoogLeNet):



BN-Inception:
Inception-v3:

Inception的成功得益于：
(1)使用BN，减少梯度消失或爆炸，加速深度神经网络训练。
(2)进一步减小卷积核的大小，减少卷积核的参数数量。从AlexNet的11×11卷积，到VGG的3×3卷积，到Inception-v3的1×3卷积和3×1卷积。
(3)加入辅助分类网络，可以提前反向传播调整参数，减少梯度消失，解决了多层神经网络训练的问题。

3.2.4ResNet