独家 | SVP：一种用于深度学习的高效数据选择方法

作者：Cody Coleman, Peter Bailis, and Matei Zaharia

翻译：杨毅远

校对：王琦

本文长度为1800字，建议阅读7分钟

本文为你介绍SVP方法如何在保证识别准确率的同时，有效地提高深度学习中计算效率。

本文主要介绍了SVP（Selection via proxy）方法。作为一种用于深度学习的数据选择方法，其可以在保证识别准确率的同时，有效地提高深度学习中计算效率。例如，在主动学习中，SVP运行速度最多可提高41.9倍，同时误差没有显著增加，这对于深度学习中提高模型训练速度来说是一个有效方法。

在许多任务中我们会用可获得的海量数据来训练深度网络，那么在实际训练中我们怎样可以快速确定应该使用哪些数据呢？像主动学习(active learning)和核心集选择(core-set selection)之类的数据选择方法是确定训练数据的强大手段，但是这些方法计算花销大且难以大规模使用。

在最近ICLR 2020的工作中(https://openreview.net/pdf?id=HJg2b0VYDr)，我们提出了一种将数据选择速度提高多达41.9倍的方法。我们使用一种规模较小、精度较差的模型作为规模较大目标模型的低代价的代理，并用此来选择用于训练的“核心”数据。尽管这些代理模型准确性较低