深度学习理论向应用的过渡课程【北京大学_TensorFlow2.0笔记】学习笔记（十）——经典卷积网络：LeNet、AlexNet、VGGNet、InceptionNet、ResNet

经典卷积网络

LeNet：1998，卷积网络开篇之作，通过共享卷积核减少了网络参数。5层。

在统计卷积神经网络层数时，只统计卷积计算层和全连接计算层，其余操作认为是卷积层的附属。

AlexNet：2012，使用relu激活函数，提升了训练速度，使用Dropout缓解过拟合。

VGGNet：2014，使用小尺寸卷积核，在减少参数的同时提高了识别准确率；网络结构规整，非常适合硬件加速。卷积核个数从128->256->512，通过增加卷积核个数，增加了特征图深度，保持了信息承载能力。

InceptionNet：引入Inception结构块，在同一层网络内使用不同尺寸的卷积核，可以提取不同尺寸的特征，提升了模型感知力；使用了批标准化，缓解了梯度消失。

Inception结构块内含有四个1*1卷积核，其中三个（黄色）作用到输入特征图的每个像素点，通过设定少于输入特征图深度的1*1卷积核个数，减少了输出特征图深度，起到了降维作用，减少了参数量和计算量。

送到卷积连接器的特征数据尺寸相同，卷积连接器会把收到的这四路特征数据按深度方向拼接，形成Inception结构块的输出。

可自行调整喂入数据，以显卡使用率的70%-80%为合理。

ResNet：2015，提出层间残差跳连，引入前方信息，缓解了梯度消失，使神经网络层数增加成为可能。

 

使用跳连线，将前边的特征直接接到了后面，使输出结果H(x)包含了堆叠卷积的非线性输出F(x)和跳过这两次卷积直接映射过来的恒等映射x，让二者对应相加，有效缓解了神经网络模型堆叠导致的退化，使神经网络向更深层发展。

总结