AMiner论文推荐

论文名称：Exploring the Limits of Large Scale Pre-training
论文链接：https://www.aminer.cn/pub/615d13fe5244ab9dcb637c5a?f=cs
来自谷歌的研究者系统地研究了这种现象，并确定随着上游任务准确率的提高，下游任务的性能会达到饱和。特别是，该研究探索了超过 4800 关于 Vision Transformer、MLP-Mixer 和 ResNets 的实验，这些模型的参数数量从一千万到一百亿不等，同时，他们在最大规模的可用图像数据（JFT-300M、ImageNet21K）上进行训练，并在超过 20 个下游图像识别任务上进行了实验。
该研究提出了一个可用于下游任务性能的模型，该模型能够反映饱和现象，并且该模型还能捕获上游和下游任务性能的非线性关系。该研究通过深入研究导致这些现象的原因，观察到这种饱和行为与通过模型层演变的表示方式密切相关。此外，该研究还展示了一个更极端的场景，即上游和下游任务的性能相互矛盾，也就是说，为了获得更好的下游性能，我们需要损害上游的准确率。
AMiner,让AI帮你理解科学！https://www.aminer.cn