Google AI 博客： 使用MinDiff框架缓解ML模型中的不公平偏见

负责任的机器学习（ML）的研究与开发在帮助解决各种社会挑战方面可以发挥关键作用。在Google，我们的研究反映了我们的AI原则，从帮助保护患者免受药物错误和改进洪水预测模型的影响，到提出解决产品中不公平偏见的方法（例如Google Translate），并为其他研究人员提供同样的资源。

负责任地应用ML的一个广泛类别是分类任务-将数据分类为标记类别的系统。Google会在我们的所有产品中使用此类模型来实施政策，范围从检测仇恨言论到适合年龄的内容过滤。尽管这些分类器起着至关重要的作用，但它们的构建方式必须尽量减少对用户的不公平偏见，这一点也很重要。

今天，我们宣布发布MinDiff，这是TF模型修正库中提供的一种新的正则化技术，可以有效地缓解训练ML模型时的不公平偏见。在本文中，我们讨论了这项技术背后的研究，并说明了该技术如何解决 将其纳入Google产品时所观察到的实际限制和要求。

分类器中的不公平
偏见为了说明如何使用MinDiff，请考虑一个产品策略分类器的示例，该产品的任务是识别和删除可能有毒的文本注释。一个挑战是确保分类器不会不公平地偏向来自特定用户组的提交，这可能导致从这些组中错误地删除内容。

学术界为机器学习公平奠定了坚实的理论基础，就不公平偏见的含义以及评估公平的不同框架之间的紧张关系提供了广泛的观点。机会均等是最常见的指标之一，在我们的示例中，这意味着衡量并寻求最大程度地降低群体之间的误报率（FPR）。在上面的示例中，这意味着分类器不应更可能错误地从一组而不是另一组中删除安全评论。同样，分类器的假阴性率在组之间应该相等。也就是说，分类器不应错过针对一组的有害评论，而不要错过针对另一组的有害评论。

当最终目标是改善产品时，重要的是能够将缓解不公平偏见的规模扩展到许多模型。但是，这带来了许多挑战：

1. 稀疏的人口数据：关于机会均等的原始工作提出了对该问题的后处理方法，该方法包括在服务时为每个用户组分配不同的分类器阈值，以抵消模型的偏差。但是，实际上，由于多种原因（例如隐私政策），这通常是不可能的。例如，人口统计信息通常是由用户自我识别并选择加入的，但有些用户会选择这样做，而其他用户则可能选择退出或删除数据。即使对于过程中的解决方案（即，改变模型训练方式的方法），也需要假设大多数数据将不具有相关的人口统计信息，因此需要有效利用人口统计学已知的少数示例。
2. 易于使用：为了使任何技术得到广泛采用，应该易于将其合并到现有模型体系结构中，并且对超参数高度敏感。虽然将ML公平性原理纳入应用程序的早期方法是利用对抗学习，但我们发现它过于频繁地导致模型在训练过程中退化，这使产品团队难以迭代，并使新产品团队保持警惕。
3. 质量：消除不公平偏见的方法还应尽可能降低整体分类性能（例如准确性）。由于缓解方法导致的准确性降低可能会导致审核模型产生更多有毒评论，因此，达到正确的平衡至关重要。

MinDiff框架
在过去的几年中，我们迭代开发了MinDiff框架以满足这些设计要求。由于人口信息很少为人所知，因此我们采用了过程内方法，其中以专门针对消除偏差的目标来增强模型的训练目标。然后，在具有已知人口统计信息的少量数据样本上优化此新目标。为了提高易用性，我们从对抗训练转向正则化框架，该框架对无害示例的预测和人口统计信息之间的统计依赖性进行了惩罚。这鼓励模型使各组之间的错误率相等，例如，将无害示例分类为有毒的。

有几种方法可以对预测和人口统计信息之间的依存关系进行编码。我们最初的MinDiff实施方案将预测值与人口统计数据组之间的相关性降到了最低，这实际上对各个组之间的预测平均值和方差进行了优化，即使之后的分布仍然不同。此后，我们通过考虑最大平均差异（MMD）损失进一步改善了MinDiff ，该损失更接近于优化预测分布以独立于人口统计学。我们发现这种方法能够更好地消除偏差并保持模型的准确性。

迄今为止，我们已经在Google的多个分类器上进行了建模改进，以改善内容质量。我们经历了多次迭代，以开发出一种健壮，负责任且可扩展的方法，解决了研究难题并实现了广泛采用。

分类器错误率的差距是要解决的一组重要的不公平偏见，但不是ML应用中出现的唯一偏见。对于ML研究人员和从业者，我们希望这项工作可以进一步推进研究，以解决更广泛的不公平偏见，并开发可在实际应用中使用的方法。此外，我们希望MinDiff 库的发布以及相关的演示和文档，以及此处共享的工具和经验可以帮助从业人员改进其模型和产品。

致谢
这项关于ML公平性分类的研究工作是由吉林陈，陈硕，Ed H. Chi，Tulsee Doshi和Hai Qian共同领导的。此外，这项工作是与乔纳森·比绍夫（Jonathan Bischof），陈秋雯，皮埃尔·克雷特曼（Pierre Kreitmann）和克里斯汀·卢（Christine Luu）合作进行的。MinDiff基础结构还与Nick Blumm，James Chen，Thomas Greenspan，Christina Greer，Lichan Hong，Manasi Joshi，Maciej Kula，Summer Misherghi，Dan Nanas，Sean O’Keefe，Mahesh Sathiamoorthy，Catherina Xu和Zhe Zhao合作开发。 。（所有名称均按姓氏的字母顺序列出。）