本文整理了多种经典的卷积神经网络（CNN）模型，包括LENET、ALEXNET、VGG、GoogLeNet（Inception）、RESNET、PreResNet、ResNeXt、DenseNet和SENet等，探讨了它们的关键特点和改进，如ReLU激活函数、Dropout、数据增强、多GPU训练、批量归一化和残差连接等。
pytorch实现的CNN模型
https://github.com/BIGBALLON/CIFAR-ZOO
1.LENET
https://my.oschina.net/u/876354/blog/1632862
个人总结：
都是经典的操作，卷积，池化，卷积，池化，卷积，全连接，全连接。特别的就是C3的卷积不是连接所有channel，这边的池化也是带两个参数w，b的。
2.ALEXNET
https://my.oschina.net/u/876354/blog/1633143
个人总结：
1.ReLU:相较Sigmoid和tanh，不容易出现梯度弥散或梯度饱和，而且ReLU计算快很多。但是ReLU有一半是没有梯度的，会出现模型出现梯度没有变化的情况，模型不收敛。
2.Dropout:防过拟合。
3.Data augmentation：水平翻转图像，从原始图像中随机裁剪、平移变换，颜色、光照变换。
直接粘一下上面博客的内容：第三点之前没有尝试过，感觉可以试一下。
（1）随机裁剪，对256×256的图片进行随机裁剪到224×224，然后进行水平翻转，相当于将样本数量增加了（（256-224）^2）×2=2048倍；
（2）测试的时候，对左上、右上、左下、右下、中间分别做了5次裁剪，然后翻转，共10个裁剪，之后对结果求平均。作者说，如果不做随机裁剪ÿ
最低0.47元/天 解锁文章
2652
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
