早期的卷积神经网络由于数据量和硬件条件的限制,没有广泛的应用到各种任务中。之后的话,大数据时代的到来以及,卷积神经网络取得了爆发性的进展。产生了各种各样的卷积网络的模型,比如VGG、GoogLeNet等,它们的实验效果非常好,很多都刷新了各种标准数据集的精度。她的应用也拓展到了各类任务中,比如分割、分类、生成、重建等。
AlexNet
结构
网络结构:5卷积+3MaxPooling
激活:用ReLU代替tanh
使用了LRN函数。
采用了dropout函数。
总结
AlexNet可以看做是LeNet5的推广,在其基础上增加了卷积层和全连接通道,并且多次使用MaxPooling进行下采样,使网络可以处理224*224的大尺寸图片,再次证明了卷积神经网络的能力。
VGG
网络结构复杂,参数也很多。
结构
第一个卷积层没有使用11*11和7*7这样大的卷积核,使用的是3*3的。因为实验发现3个3*3的卷积核一个7*7的卷积核感受
差不多,但是参数少一半,更好计算。
GoogLeNet
GoogLeNet参数量是AlexNet的1/12,但是精度更高,Inception V1结构如下:
结构特点:
1*1卷积、3*3卷积、5*5卷积以及下采样,其中不同大小的卷积核可以提供不同大小的视野。b中的1*1卷积是为了减少参数。最后将所有的输出结合在一起。
Inception结构中每个卷积后都会经过ReLU激活。
之后还有Inception V2,V3,以及Inception-Residual等结构。
ResNet
在VGG的基础上提出shortcut连接,在某层的特征图加上其它层的特征图。这样可以让层数更深。多个分支采样加法的方式结合在一起。
DenseNet
将shortcut结构发挥到极致,提出了DenseBlock结构,即每个中间层的特征输出都会连接到后面的层的特征图中。多个方式采用级联(通道维度上拼接)的方式融合。
参考:
https://www.jianshu.com/p/3510872fb186
https://www.jianshu.com/p/00a53eb5f4b3
https://mp.weixin.qq.com/s/k9Nym4Wwsra0VFStpvoamg