经典卷积网络
LeNet:1998,卷积网络开篇之作,通过共享卷积核减少了网络参数。5层。
在统计卷积神经网络层数时,只统计卷积计算层和全连接计算层,其余操作认为是卷积层的附属。
AlexNet:2012,使用relu激活函数,提升了训练速度,使用Dropout缓解过拟合。
VGGNet:2014,使用小尺寸卷积核,在减少参数的同时提高了识别准确率;网络结构规整,非常适合硬件加速。卷积核个数从128->256->512,通过增加卷积核个数,增加了特征图深度,保持了信息承载能力。
InceptionNet:引入Inception结构块,在同一层网络内使用不同尺寸的卷积核,可以提取不同尺寸的特征,提升了模型感知力;使用了批标准化,缓解了梯度消失。
Inception结构块内含有四个1*1卷积核,其中三个(黄色)作用到输入特征图的每个像素点,通过设定少于输入特征图深度的1*1卷积核个数,减少了输出特征图深度,起到了降维作用,减少了参数量和计算量。
送到卷积连接器的特征数据尺寸相同,卷积连接器会把收到的这四路特征数据按深度方向拼接,形成Inception结构块的输出。
可自行调整喂入数据,以显卡使用率的70%-80%为合理。
ResNet:2015,提出层间残差跳连,引入前方信息,缓解了梯度消失,使神经网络层数增加成为可能。
使用跳连线,将前边的特征直接接到了后面,使输出结果H(x)包含了堆叠卷积的非线性输出F(x)和跳过这两次卷积直接映射过来的恒等映射x,让二者对应相加,有效缓解了神经网络模型堆叠导致的退化,使神经网络向更深层发展。
总结