读《Kaggle 相机型号识别大赛深度分析》之笔记

Kaggle 相机型号识别大赛深度分析
https://mp.weixin.qq.com/s/e-j6_Z-ZWex8A3EzoH9Acw

重要的思考：

DenseNet比Resnet更好/更差吗？这个问题得视情况而定。在「Planet: Understanding the Amazon from Space challenge」竞赛（https://www.kaggle.com/c/planet-understanding-the-amazon-from-space）中，我们团队使用 DenseNet，从 900 多支团队中夺得第 7 名，这一网络在这次比赛中表现得更好，但它在 ImageNet 上的表现较差。

我和我的合作者对此进行了深入的讨论，有人认为跳跃连接不仅平滑了损失表面，而且还降低了模型容量。这也许可以解释为什么 DenseNet 在像 CIFAR 这样的非多样化问题中表现更好，但是需要在 ImageNet 这样的多样化的数据集上增加网络的深度，以补偿容量的损失。基于这种推测，我们可以认为当数据集不是非常多样化且不需要大容量的网络时，DenseNet 的性能会很好。但是当判别特性高度抽象时，我们就可能需要非常深的网络。

相机检测任务属于这一类问题吗？我不知道。从经验上说它确实是的，但我们并没有足够的证据证明这一点。

在训练过程中加入智能的正则化标准方法是使用数据增强。不同的问题可能受益于不同的数据增强方法。同样的，如果你拥有更好的直觉，你可能会选出更好的数据增强方法和参数。