深度学习中的网络结构
1、网络模型的的发展历史
先简单说一下CNN一些经典案例和 ImageNet 图像分类竞赛的历年冠军(深度学习网络发展史):
神经网络 | 年份 | 标签 | 作者 |
---|---|---|---|
LeNets | 1998年 | CNN开山之作 | 纽约大学 |
AlexNet | 2012年 | ImageNet冠军 | 多伦多大学 Hinton团队 |
ZFNet | 2013年 | ImageNet冠军 | 纽约大学 |
GoogLeNet | 2014年 | ImageNet冠军 Inception模块 | 谷歌 |
VGG | 2014年 | ImageNet亚军 VGG-16和VGG-19 | 牛津大学 |
NiN | 2014年 | Network in Network(网中网) GAP(全局平均池化) | 新加坡国立大学 |
ResNet | 2015年 | ImageNet冠军 残差网络 | 何凯明团队 微软亚院 |
Wide ResNet | 2016年 | 增加残差中卷积核数量(宽度) | 谢尔盖·扎戈鲁科 |
Squeeze Net | 2016年 | 轻量级网络 压缩参数量 | 斯坦福大学 伯克利大学 |
SENet | 2017年 | ImageNet冠军 SE模块 | momenta + 牛津大学 胡杰 |
ResNext | 2017年 | Resnet + Inception | Saining Xie团队 |
DenseNet | 2017年 | CVPR最佳论文 Dense模块 | 康奈尔大学 清华大学 |
FractalNet | 2017年 | 分形网络 | Gustav Larsson团队 |
MobileNets | 2017年 | 轻量级 Group卷积和Depthwise Seperable卷积 | 谷歌 |
NASNet | 2018年 | 神经架构搜索 强化学习 | 谷歌 |
2、Alexnet
原文:《ImageNet Classification with Deep Convolutional Neural Networks》
网络结构图:
3、VGG
原文:《VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION》
网络结构:
4、ResNet
原文:《Deep Residual Learning for Image Recognition》
网络结构:
上图中一个方括号对应一个block,block结构:
参考:
https://blog.csdn.net/qiuzitao/article/details/108399286
https://zhuanlan.zhihu.com/p/41423739
https://blog.csdn.net/wchzh2015/article/details/93883771