Kaggle 相机型号识别大赛深度分析
https://mp.weixin.qq.com/s/e-j6_Z-ZWex8A3EzoH9Acw
重要的思考:
DenseNet比Resnet更好/更差吗?这个问题得视情况而定。在「Planet: Understanding the Amazon from Space challenge」竞赛(https://www.kaggle.com/c/planet-understanding-the-amazon-from-space)中,我们团队使用 DenseNet,从 900 多支团队中夺得第 7 名,这一网络在这次比赛中表现得更好,但它在 ImageNet 上的表现较差。
我和我的合作者对此进行了深入的讨论,有人认为跳跃连接不仅平滑了损失表面,而且还降低了模型容量。这也许可以解释为什么 DenseNet 在像 CIFAR 这样的非多样化问题中表现更好,但是需要在 ImageNet 这样的多样化的数据集上增加网络的深度,以补偿容量的损失。基于这种推测,我们可以认为当数据集不是非常多样化且不需要大容量的网络时,DenseNet 的性能会很好。但是当判别特性高度抽象时,我们就可能需要非常深的网络。
相机检测任务属于这一类问题吗?我不知道。从经验上说它确实是的,但我们并没有足够的证据证明这一点。
在训练过程中加入智能的正则化标准方法是使用数据增强。不同的问题可能受益于不同的数据增强方法。同样的,如果你拥有更好的直觉,你可能会选出更好的数据增强方法和参数。