实时去偏：解释导向的人类监督机器学习系统决策

引言

机器学习（Machine Learning, ML）系统现在广泛应用于人类生活的各个关键领域，如招聘、金融和医疗等。这些系统可以降低人为错误，提高效率和可扩展性，并增强决策过程的准确性。然而，随着ML系统在与人类密切相关的领域中的使用日益增多，关于其决策公平性的担忧也在增加。例如，2018年，路透社发现亚马逊的简历筛选算法存在年龄和性别偏见，该算法对包含“女性”一词的简历和显示出较老申请者的毕业年份的简历进行了降级处理。尽管亚马逊迅速废除了该有偏见的算法，但很可能在其意识到不公平影响之前，该算法已被部署了数月。为了减少此类伦理问题，在ML系统的开发和部署前后持续进行公平性测试是至关重要的。

目前，软件工程社区已经做出了各种努力，借鉴传统软件测试技术，首先搜索并减轻ML中的歧视。例如，Udeshi等人介绍了AEQUITAS，这是一种探索ML模型输入空间中的歧视性实例的公平性测试技术，然后通过扰动这些实例的非保护属性来生成更多的歧视性样本。虽然当前的方法已被证明是有效的，但它们主要集中在开发阶段检测和解决歧视问题。在ML系统部署后的操作期间进行公平性测试的研究相对较少。为了解决这一差距，本研究提出了一种框架，用于持续监控已部署的ML系统，以评估其公平性。

背景

在讨论公平性、公平性测试、反事实解释和人类审查之前，我们需要先了解一些基本术语。

公平性

在ML系统中的决策公平性是指不存在基于个人或群体固有或获得属性的偏见或偏好。制定公平性是解决公平性问题和开发公平ML模型的第一步。在简单的术语中，假设ML预测模型$h$在决策时使用了包含敏感属性$S$和其他属性$Z$的数据集进行训练。公平性可表示为：

$$F(X,Y,h,S,Z)=h(X,S,Z)\approx h(X,S^{\prime },Z)$$

这意味着模型$h$在去除任何潜在偏见后，对同一组个体应做出相同的决策。

个体公平性

个体公平性确保相似的个体无论其保护属性如何，都应得到相似的结果。假设$X$代表一组属性（或特征），$Q$代表一组受保护的属性。个体公平性定义为：

$$f(x_i)=f(x_{i^{\prime }})$$

其中，$f$为ML分类器，$x_i$和$x_{i^{\prime }}$代表具有相似非保护属性但可能具有不同保护属性的两个个体。

公平性测试

公平性测试是软件测试的一个分支，专注于暴露ML系统中的公平性漏洞。公平性测试可以分为离线和在线测试。离线公平性测试是在模型开发期间进行的，仅评估模型在给定训练数据上的公平性。相反，在线公平性测试是在ML系统部署后，使用实际输入数据持续监控和评估其公平性。

反事实解释

反事实解释是一种识别改变给定预测所需的最小变化的技术。通过提供与观察结果相似但产生不同结果的特定数据实例，反事实解释帮助理解某些因素对结果的直接影响。反事实解释的公式如下：

$$c=\arg \min \text{loss}(f(c),y)+|x-c|$$

其中，$x$为输入特征，$f$为模型，$y$为模型的输出，$c$为导致不同输出的反事实实例。

将人类审查嵌入ML系统

在ML系统的自动决策过程中，嵌入人类审查和监督（即人类在环）可以有效减少系统中的偏见。人类审查的主要目的是对ML模型的输出进行最终检查，以确保决策公平、无偏和准确。人类审查通常作为回顾性审查进行，即在ML系统运行后对其决策进行审查。

相关工作

文献中提出了多种方法来识别ML系统中的个体歧视。例如，Galhotra等人介绍了Themis，通过随机抽样输入空间来创建测试案例，并通过观察系统在测试中的行为来评估歧视性事件的频率。Udeshi等人提出了AEQUITAS，一种双阶段搜索的公平性测试技术，探索输入空间中的歧视性实例，然后通过扰动这些实例的非保护属性来生成更多的歧视性样本。

与现有方法相比，我们的工作聚焦于在线公平性测试，评估ML系统在运行期间的公平性。

方法

本节介绍了我们提出的概念模型。该模型旨在实时监控和缓解ML系统中的偏见，如贷款申请系统。过程如下图所示：

反事实生成

反事实生成过程包括输入一个输入实例$x$，并使用预训练的ML模型$f$生成反事实实例$c_1,c_2,...,c_n$，这些实例具有不同的保护属性组合。

偏见检测

自动偏见检测组件分析反事实生成过程的输出，以确定是否存在对原始实例的歧视。如果存在反事实示例，则会标记为需要人类审查；否则，ML模型的决策保持不变。

人类审查

人类审查在评估ML系统的公平性方面起着关键作用。自动偏见检测组件标记的歧视性实例和相应的反事实示例会传递给人类审查组件进行最终评估。人类审查提供了对系统行为的全面理解，允许在运行时识别和纠正不公平的偏见。

使用案例示例

示例1：医疗系统

在医疗系统中，使用ML系统评估患者并预测再入院的可能性。如果模型对某些人口群体做出了有偏见的决定，可以通过反事实解释和自动偏见检测组件检测到这一偏见。

示例2：教育系统

在教育系统中，模型可以用于监控和解决招生委员会决策过程中的偏见。例如，反事实生成和自动偏见检测组件可以识别少数群体申请者在招生过程中是否被不公平地引导。

示例3：贷款/信用评分系统

在贷款/信用评分系统中，模型可以识别对黑人和少数群体申请者的偏见。利用反事实解释和自动偏见检测组件，这些偏见可以被标记并进行人类审查。

示例4：刑事司法系统

在刑事司法系统中，模型可以用于预测被告再犯的可能性。反事实生成和自动偏见检测组件可以揭示模型对黑人被告的歧视性决策。

示例5：招聘系统

在招聘系统中，模型可以识别对女性候选人的偏见。通过反事实生成和自动偏见检测组件，可以揭示系统的有偏见决策。

结论

本文提出了一个概念模型，用于通过人类审查和反事实解释在实时中跟踪和纠正个体歧视。我们的框架利用反事实解释的力量来识别ML系统中的歧视实例，并包括一个人类审查组件来减轻这些偏见。未来，我们计划构建并部署该系统，并进行公平性测试以确保其在实际操作中公正和公平。

参考文献

1. Mamman, Hussaini et al., “Unbiasing on the Fly: Explanation-Guided Human Oversight of Machine Learning System Decisions”, 13th Computer Science On-line Conference, Lecture Notes on Networks and Systems, Springer, April 2024.
2. Udeshi, S., et al., “AEQUITAS: A Fairness Testing Technique for Machine Learning Systems”, 2018.
3. Galhotra, S., et al., “Themis: Automatically Testing Software for Discrimination”, 2017.
4. Kusner, M., et al., “Counterfactual Fairness”, 2017.
5. Yang, S., et al., “BiasRV: Detection of Gender Discrimination in Sentiment Analysis Systems”, 2020.

---

Q: 这篇论文试图解决什么问题？

A: 这篇论文提出了一个名为“Unbiasing on the fly: Explanation-Guided Human Oversight of Machine Learning System Decisions”的新框架，旨在解决部署中的机器学习（ML）系统可能表现出基于受保护属性的歧视性决策的问题。尽管在开发阶段确保公平性的努力至关重要，但这些努力并不能保证已部署的ML系统在其运行期间不会表现出歧视。为了填补这一空白，论文提出了一个新颖的框架，用于实时跟踪和纠正部署ML系统中的歧视行为。

具体来说，该框架利用反事实解释（counterfactual explanations），持续监控ML系统的预测，并在检测到歧视性结果时发出警告。当检测到歧视时，会向人类审查者展示与原始预测相关的事后解释以及反事实替代方案，以便进行实时干预。这种人机协作（human-in-the-loop）的方法使审查者能够接受或覆盖ML系统的决策，从而在动态环境中实现ML操作的公平性和责任性。

Q: 有哪些相关研究？

A: 论文中提到了以下相关研究：

AEQUITAS: Udeshi等人（Udeshi et al. 2018）介绍的一种公平性测试技术，通过探索ML模型的输入空间来寻找歧视性实例，然后通过扰动这些实例的非受保护属性来生成更多的歧视性样本。

DICE: Monjezi等人提出的一个使用因果算法来识别歧视元素的方法，通过测量深度神经网络（DNNs）中神经元决策过程中受保护信息的使用情况，然后提出涉及干预受影响神经元的缓解策略。

Themis: Galhotra等人引入的一个系统，通过随机采样输入空间来创建测试用例，并观察系统在测试下的行为，以评估歧视性发生频率。

SG: Aggarwal等人提出的一个基于搜索的测试生成方法，结合符号生成和局部可解释性来识别歧视性实例。

ExpGA: Fan等人引入的一种基于遗传算法的解释引导的歧视实例生成方法，从种子实例高效生成多个歧视性实例。

BiasRV: Yang等人开发的一个工具，用于检测情感分析系统中的性别歧视。它从输入文本生成性别歧视性变异体，并使用情感分析中常用的指标来评估系统响应的公平性。

其他文献: 论文还引用了其他文献来支持对ML系统中公平性问题的理解，包括对现有公平性测试方法的综述、对偏见和公平性的调查、以及在特定领域（如医疗保健）中应用ML时的公平性问题。

这些研究为开发实时监控和纠正ML系统中歧视行为的框架提供了理论和技术基础。

Q: 论文如何解决这个问题？

A: 论文提出了一个框架，通过以下几个关键步骤解决ML系统中的歧视问题：

反事实生成（Counterfactual Generation）：

输入实例通过系统发送给用户。

使用预训练的ML模型和一组受保护的属性来生成反事实示例，这些示例在所有特征上与原始实例相同，但受保护属性的集合不同，以导致与原始实例不同的结果。

歧视检测（Bias Detection）：

自动化的歧视检测组件接收反事实生成过程的输出，并分析是否存在对原始实例的歧视。

如果检测到反事实示例与原始样本结果不同，将标记供人工审查组件进行最终决策。

人工审查（Human Review）：

人工审查在评估ML系统运行期间的公平性中起着至关重要的作用。

歧视实例被标记并生成相应的反事实示例，然后传递给人工审查组件进行最终评估。

人工审查者可以深入检查系统做出歧视性决策背后的原因，并在实时中识别和纠正不公平的偏见。

人机协作（Human-in-the-Loop, HITL）：

将人工输入和监督纳入ML系统的决策过程中，以减少系统中存在的偏见。

结合人类和算法的优势，有助于减轻潜在偏见，并确保做出的决策是公平和无偏见的。

实时干预：

当检测到歧视时，提供与原始预测相关的事后解释和反事实替代方案给人类审查者，以进行实时干预。
适应性：

与传统的一次性公平性测试不同，所提出的框架适应于变化的数据和使用模式，主动提醒人类审查者注意潜在偏见，防止它们伤害用户。
通过这种方法，论文的框架能够在ML系统运行时实时跟踪和纠正歧视，确保系统的决策过程是公平和无偏见的。

Q: 论文做了哪些实验？

A: 根据提供的论文内容，论文中并没有详细描述具体的实验过程或实验结果。论文主要集中于提出了一个概念性的框架，用于实时跟踪和纠正部署的机器学习系统中的个体歧视问题。这个框架利用了反事实解释和人工审查来确保ML系统的决策是公平和无偏见的。

论文的第5部分提供了一些实际应用案例，这些案例展示了所提出的概念模型如何在不同的领域（如医疗保健系统、教育系统、贷款/信用评分系统、刑事司法系统和招聘系统）中应用。这些用例说明了模型的潜在应用，但它们并不构成传统意义上的实验验证。

在未来的工作计划中，作者提到了将构建和部署所提出的系统，并进行公平性测试以确保系统公正和公平地运作。这些测试将允许作者实时监控和解决可能出现的偏见，确保系统继续满足公平和道德实践的最高标准。然而，这些计划中的测试和评估在论文被撰写时尚未完成。

Q: 有什么可以进一步探索的点？

A: 根据论文内容，以下是一些可以进一步探索的点：

系统实现与部署：将所提出的框架从概念转化为实际可操作的系统，并在真实环境中进行部署。

公平性测试：开发和实施一系列公平性测试，以确保系统在实际运行中能够检测并纠正偏见。

多属性歧视分析：研究框架如何处理涉及多个受保护属性的复杂歧视情况，并优化算法以识别和纠正这些偏见。

用户界面和交互：设计用户友好的界面，使非技术背景的审查者也能有效地使用系统进行决策。

性能评估：评估系统在处理大量数据和请求时的性能，包括响应时间和资源消耗。

案例研究：在不同领域进行案例研究，以评估框架在特定上下文中的有效性和适用性。

算法优化：对反事实生成和歧视检测算法进行优化，以提高效率和准确性。

法规和伦理考量：研究如何在遵守现有法规和伦理标准的前提下应用该框架，特别是在处理敏感数据时。

用户接受度：评估不同利益相关者（如ML系统用户、开发者、政策制定者等）对该框架的接受度和反馈。

长期影响评估：研究该框架在长期应用中对减少歧视和促进公平的潜在影响。

技术集成：探索如何将该框架与其他ML系统和工作流程集成，以实现无缝操作。

可扩展性和灵活性：研究如何使框架适应不同的ML模型架构和不同的业务需求。

透明度和可解释性：提高系统的透明度，确保用户能够理解反事实解释和歧视检测的结果。

国际应用：考虑不同国家和地区的法律、文化差异，探索框架在全球化背景下的应用。

教育和培训：开发教育和培训材料，帮助用户和审查者更好地理解和使用该框架。

这些探索点可以帮助研究者和开发者进一步完善框架，提高其在现实世界中的有效性和实用性。

Q: 总结一下论文的主要内容

A: 这篇论文提出了一个名为“Unbiasing on the fly: Explanation-Guided Human Oversight of Machine Learning System Decisions”的框架，旨在解决机器学习（ML）系统在实际部署和运行中可能出现的歧视性决策问题。以下是论文的主要内容概述：

问题背景：随着ML系统在关键领域（如招聘、金融、医疗等）的广泛应用，人们对其决策过程中潜在的不公平性表示担忧。尽管在开发阶段确保公平性的努力很重要，但已部署的系统仍可能在运行时表现出歧视。

研究目标：提出一个新颖的框架，用于实时跟踪和纠正部署的ML系统中的歧视问题。

方法论：

利用反事实解释（counterfactual explanations）来监控ML系统的预测，并在发现歧视性结果时发出警告。

当检测到潜在歧视时，提供与原始预测相关的事后解释和反事实替代方案给人类审查者，以便进行实时干预。

框架组成：

反事实生成：输入实例通过系统发送给用户，并生成可能导致不同结果的反事实示例。

歧视检测：自动化组件分析反事实示例，以确定是否存在歧视。

人工审查：人类审查者对标记的歧视实例进行评估，并做出最终决策。

人机协作（Human-in-the-Loop, HITL）：通过将人类输入和监督纳入ML系统的决策过程中，减少系统中的偏见，提高决策的公平性和透明度。

实际应用案例：提供了医疗、教育、金融、司法和招聘等不同领域的应用案例，展示了框架的潜在应用。

未来工作：计划构建和部署所提出的系统，并进行公平性测试以确保系统公正和公平地运作。

结论：该框架为解决部署ML系统中的偏见问题提供了一个有前景的方法，有助于确保系统的决策过程是公平和无偏见的。

论文强调了在动态环境中实现ML操作的公平性和责任性的重要性，并提出了一个适应性、实时性的人机协作解决方案。