#今日论文推荐# Beyond neural scaling laws: beating power law scaling via data pruning

#今日论文推荐# Beyond neural scaling laws: beating power law scaling via data pruning

在视觉、语言和语音在内的机器学习诸多领域中，神经标度律表明，测试误差通常随着训练数据、模型大小或计算数量而下降。这种成比例提升已经推动深度学习实现了实质性的性能增长。然而，这些仅通过缩放实现的提升在计算和能源方面带来了相当高的成本。这种成比例的缩放是不可持续的。例如，想要误差从 3% 下降到 2% 需要的数据、计算或能量会指数级增长。此前的一些研究表明，在大型 Transformer 的语言建模中，交叉熵损失从 3.4 下降到 2.8 需要 10 倍以上的训练数据。
对于大型视觉 Transformer，额外的 20 亿预训练数据点 (从 10 亿开始) 在 ImageNet 上仅能带来几个百分点的准确率增长。所有这些结果都揭示了深度学习中数据的本质，同时表明收集巨大数据集的实践可能是很低效的。此处要讨论的是，我们是否可以做得更好。例如，我们是否可以用一个选择训练样本的良好策略来实现指数缩放呢？
在最近的一篇文章中，研究者们发现，只增加一些精心选择的训练样本，可以将误差从 3% 降到 2% ，而无需收集 10 倍以上的随机样本。简而言之，「Sale is not all you need」。

论文题目：Beyond neural scaling laws: beating power law scaling via data pruning
详细解读：https://www.aminer.cn/research_report/62e09ea77cb68b460ff4f3dbhttps://www.aminer.cn/research_report/62e09ea77cb68b460ff4f3db
AMiner链接：https://www.aminer.cn/?f=cs