论文名称:Exploring the Limits of Large Scale Pre-training
论文链接:https://www.aminer.cn/pub/615d13fe5244ab9dcb637c5a?f=cs
来自谷歌的研究者系统地研究了这种现象,并确定随着上游任务准确率的提高,下游任务的性能会达到饱和。特别是,该研究探索了超过 4800 关于 Vision Transformer、MLP-Mixer 和 ResNets 的实验,这些模型的参数数量从一千万到一百亿不等,同时,他们在最大规模的可用图像数据(JFT-300M、ImageNet21K)上进行训练,并在超过 20 个下游图像识别任务上进行了实验。
该研究提出了一个可用于下游任务性能的模型,该模型能够反映饱和现象,并且该模型还能捕获上游和下游任务性能的非线性关系。该研究通过深入研究导致这些现象的原因,观察到这种饱和行为与通过模型层演变的表示方式密切相关。此外,该研究还展示了一个更极端的场景,即上游和下游任务的性能相互矛盾,也就是说,为了获得更好的下游性能,我们需要损害上游的准确率。
AMiner,让AI帮你理解科学!https://www.aminer.cn