不受限对抗样本挑战赛介绍

文 / Google Brain 团队研究工程师 Tom B. Brown 及 Catherine Olsson

来源 | 谷歌开发者 公众号

机器学习正越来越多地运用于现实世界的应用领域，包括医学、化学和农业。当涉及在安全攸关的环境中部署机器学习时，我们仍然面临巨大的挑战。特别值得一提的是，所有已知的机器学习算法都很容易受到对抗样本的攻击（https://ai.google/research/pubs/pub43405）。 对抗样本指的是攻击者为了让模型出错而故意设计的输入数据。之前关于对抗样本的研究大多集中在调查因微小修改导致的错误，以便建立改进后的模型，但现实世界的对抗代理往往不受 “微小修改” 这一条件的约束。此外，机器学习算法在面对敌手时经常会犯置信错误，因此，我们亟需开发不会犯任何置信错误的分类器，即使在面对能够提交任意输入以图欺骗系统的敌手时仍能临危不乱，不犯错误。

今天，我们宣布将举行不受限对抗样本挑战赛，该挑战赛以社区为基础，旨在激励并衡量机器学习模型领域实现置信分类错误达零目标的进展情况。之前的研究重点集中在仅限对预先标记的数据点进行微小修改的对抗样本（研究人员可以假定在施加微小干扰后，图像应该仍拥有同样的标签），而本挑战赛允许使用不受限输入，参赛者可以提交目标类中的任意图像，以便使用更广泛的对抗样本开发和测试模型。