1998年:LeNet
《Gradient-based Learning Applied to Document Recognition》
2012年:AlexNet
《ImageNet Classification with Deep Convolutional Neural Networks》
论文:https://dl.acm.org/doi/10.1145/3065386
首次将卷积神经网络和深度学习应用于大型图像识别,提出来dropout层,为后来的BN层提供了灵感
2014年:R-CNN
《Rich feature hierarchies for accurate object detection and semantic segmentation》
首次将目标检测和卷积神经网络结合起来,并应用到工业级别。
R-CNN、fast-CNN、faster-CNN
将目标的分割和识别合二为一。
https://zhuanlan.zhihu.com/p/64694855
https://blog.csdn.net/v1_vivian/article/details/78599229
2015年:SPPNet
《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》
论文:https://arxiv.org/abs/1406.4729
借鉴了特征金字塔
2015年:GoogLeNet Inception V1 V2 V3 V4
V1:《Going deeper with convolutions》
V2:《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》
V3:《Rethinking the Inception Architecture for Computer Vision》(2015年)
V1:https://link.csdn.net/?target=https%3A%2F%2Fieeexplore.ieee.org%2Fdocument%2F7298594
V2:https://arxiv.org/pdf/1502.03167.pdf
V3:https://arxiv.org/pdf/1512.00567.pdf
更深的网络,直接解决计算和梯度递减问题
2015年:批量标准化
GoogLeNet V2:《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》
论文:https://arxiv.org/pdf/1502.03167.pdf
后来的网络逐渐开始使用BN层
2015年:VGGNet
《Very Deep Convolutional Networks for Large-Scale Image Recognition》
论文:[https://arxiv.org/abs/1409.1556](https://arxiv.org/abs/1409.1556)
模型:https://worksheets.codalab.org/worksheets/0xe2ac460eee7443438d5ab9f43824a819
使用了更深的网络,提出来预训练和权重初始化的重要性。开启了3*3的卷积时代,大大减少了参数量
2016年:ResNet
《Deep Residual Learning for Image Recognition》
论文:https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/1512.03385.pdf
2016年:Xception
《Xception: Deep Learning with Depthwise Separable Convolutions》
论文:https://arxiv.org/abs/1610.02357
超越了ResNet和InceptionV3
2016年:Inception与ResNet结合的尝试
《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》
2017年:ResNet的改进ResNetV2
《Identity Mappings in Deep Residual Networks》
论文:https://arxiv.org/abs/1603.05027
对ResNet的改进
2017年:ResNet的一次改进DenseNet
《Densely Connected Convolutional Networks》
论文:https://link.csdn.net/?target=https%3A%2F%2Fopenaccess.thecvf.com%2Fcontent_cvpr_2017%2Fhtml%2FHuang_Densely_Connected_Convolutional_CVPR_2017_paper.html
模型:https://link.zhihu.com/?target=https%3A//github.com/liuzhuang13/DenseNet
2017年:ResNet的一次重大改进ResNext
《Aggregated Residual Transformations for Deep Neural Networks》
论文:https://arxiv.org/pdf/1611.05431.pdf
模型:https://github.com/facebookresearch/ResNeXt
2017年:MobileNet
《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》
论文:https://arxiv.org/abs/1704.04861
注意有V1,V2,V3
2017年:NASNet
《Learning Transferable Architectures for Scalable Image Recognition》
2017年:SENet
《Squeeze-and-Excitation Networks》
论文:https://arxiv.org/abs/1709.01507
模型:https://github.com/hujie-frank/SENet
引入注意力机制的卷积神经网络
2017年:ShuffleNet
《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》
2018年:Bag of Tricks
《Bag of Tricks for Image Classification with Convolutional Neural Networks》
论文:https://arxiv.org/abs/1812.01187
一些分类的常用技巧
2019年:EfficientNet
《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》
2020年:ECA
《ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks》
论文:https://arxiv.org/abs/1910.03151
注意力机制
2020年:RegNet
《Designing Network Design Spaces》
2020年:GhostNet
《GhostNet: More Features from Cheap Operations》
2020年
2021年:EfficientNetV2
《EfficientNetV2: Smaller Models and Faster Training》
2021年:ResNet-RS
《Revisiting ResNets: Improved Training and Scaling Strategies》
2021年
有一些数据处理的论文。
https://zhuanlan.zhihu.com/p/354936159
2022年:ConvNext
《A ConvNet for the 2020s》
2022年
遇到没见过的持续更新。。。