Rethinking ImageNet Pre-training 总结

何凯明最新论文《Rethinking ImageNet Pre-training》
总结翻译如下：
1，如果模型结构变化很小，可以在从头开始训练模型。
2，从头训练一个模型需要很多的迭代步数才能充分的收敛。
3，即使只有10k coco数据集的情况下，从头训练模型得到的结果未必比采用ImageNet预训练初始化的模型的结果差。
4，ImageNet 预训练初始化的模型可以加速收敛。
5，ImageNet 预训练初始化不一定可以帮助降低过拟合，除非使用一个非常小量级的数据集。
6，如果一个任务相比于分类对于定位更加敏感的话，ImageNet预训练的帮助很小。

ImageNet 预训练是否有必要？事实并非如此，如果我们有足够的目标数据和计算资源的话，也许我们可以不依赖 ImageNet 的预训练。我们的实验结果表明，ImageNet 预训练可以帮助模型加速收敛过程，但是并不一定能提高最终的准确性，除非数据集特别小（例如，<10k COCO images）。这表明，在未来的研究中，收集目标数据的标注信息（而不是预训练数据）对于改善目标任务的表现是更有帮助的。

ImageNet有用吗？确实是有用的。ImageNet 预训练一直以来是计算机视觉领域许多任务性能辅助工具。它能够减少了训练的周期，更容易获得有前途的结果，经预训练的模型能够多次使用，训练成本很低。此外，经预训练的模型能够有更快的收敛速度。我们相信 ImageNet 预训练仍然有助于计算机视觉研究。

我们需要大数据吗？的确需要。但如果我们考虑数据收集和清理的成本的话，一个通用的大规模分类的数据集并不是理想的选择。因为收集诸如 ImageNet 这样大数据集的成本被忽略掉了，而在数据集上进行预训练步骤的成本也是庞大的。如果在大规模的分类数据集上预训练的收益呈指数型下降减少，那么在目标域上收集数据将会是更有效的做法。

我们应该追求通用的模型性能吗？毫无疑问，我们的目标是模型能够学习到通用的特征表征。我们所取得的结果也没有偏离这一目标。其实，我们的研究表明在计算机视觉领域，我们应该更加注意评估预训练的特征（例如对于自监督过程的特征学习），就像现在我们学到的那样，即使是随机初始化过程也能得到出色的结果表现。

此链接是对原文的中文部分翻译：https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/84351411