pytorch实现的CNN模型
https://github.com/BIGBALLON/CIFAR-ZOO
1.LENET
https://my.oschina.net/u/876354/blog/1632862
个人总结:
都是经典的操作,卷积,池化,卷积,池化,卷积,全连接,全连接。特别的就是C3的卷积不是连接所有channel,这边的池化也是带两个参数w,b的。
2.ALEXNET
https://my.oschina.net/u/876354/blog/1633143
个人总结:
1.ReLU:相较Sigmoid和tanh,不容易出现梯度弥散或梯度饱和,而且ReLU计算快很多。但是ReLU有一半是没有梯度的,会出现模型出现梯度没有变化的情况,模型不收敛。
2.Dropout:防过拟合。
3.Data augmentation:水平翻转图像,从原始图像中随机裁剪、平移变换,颜色、光照变换。
直接粘一下上面博客的内容:第三点之前没有尝试过,感觉可以试一下。
(1)随机裁剪,对256×256的图片进行随机裁剪到224×224,然后进行水平翻转,相当于将样本数量增加了((256-224)^2)×2=2048倍;
(2)测试的时候,对左上、右上、左下、右下、中间分别做了5次裁剪,然后翻转,共10个裁剪,之后对结果求平均。作者说,如果不做随机裁剪ÿ