最近一个月深度学习的经验总结

一、训练模型

1、在进行模型训练时，要谨慎使用数据增强方法，滥用数据增强的一些方法（尤其是裁剪和旋转）会反而导致模型的性能下降，这是因为裁剪和旋转容易带来额外的噪音，导致了训练集和测试集差异过大，在用inception进行迁移学习时尤为明显，VGG会好一些，但也有所下降。

2、大bitchsize不一定就比小bitchsize要快。

3、VGGnet很容易出现梯度消失的情况，解决方法加BN层或换模型（densenet或resnet）。inception相对VGG来说会好一点，但有时也会出现梯度消失。

4、学习率设置的过大可能导致loss函数无法收敛，所以在loss函数不下降的情况下，可以尝试把学习率调小一点

二、实验

1、在自己做实验之前，一定要仔细看清楚别人论文中写的实验参数、看掉一个参数很容易导致实验效果很差。仔细对比！！！！！

2、多记录

3、在实验效果不如意的时候，反思自己的方法是否存在之前没有考虑到的缺陷。想办法是否能解决，不能解决就立刻放弃或者搁置一段时间。想新的点子。

三、近期看的论文

1、《Learning deep features for discriminative localization》

这片文章主要贡献是提出了类激活映射（CAM），把基础CNN模型的FC层去掉，在最后面的卷积层后面加了1024通道的3X3卷积层和一个global avg pooling层，然后接一个线性层进行分类。
类激活映射的计算公式如下：

k是通道的数量（0-1023），f（x，y）就是添加的卷积层的输出，w是线性的参数（weight）。之后先用线性二插值法把M放大到和输入图像一样大小。

2、《Weakly supervised object localization with deep convolutional neural network based on spatial pyramid saliency map》

这片就是把CAM和spp的结合。有兴趣的可以复现一下，我在复现的时候，出来的结果比论文中差了很多。