算法的公平性也可以量化？试试这三个指标吧

全文共1931字，预计学习时长4分钟

 

图片来源：pexels.com/@rawpixel

自动化和智能操作已经可以越来越深度地帮助人们工作。随着人工智能越来越多地应用于工业领域的产品和研究，其现在可以更好地专注于需要判断力和创造力的管理职能。这意味着曾经需要人类做出的关键决策，现在都可以通过算法操作决定了。从化工、采矿、石油和天然气等资产密集型行业，到媒体和时尚等创意密集型行业，皆是如此。

要驱动大规模数字产品和服务的应用，需要的可不仅仅是自动化。互联网把人类和机器连接在一起，产生了海量的数据，为了处理这些数据，以及应对时刻变化的社会，需要借助公平负责的算法。此外，预计到2030年，人工智能将为全球经济增加13万亿美元。毫无疑问，用算法做决定会变得越来越普遍。

回顾一条大家都懂的机器学习定义——算法解析数据，从数据中学习，然后用所学知识做出明智的决定。

因此可以知道，数据科学家、工程师和架构师设计和构建算法的方法是训练算法解析正确的数据，以大致确保两件事：

精确度

图片来源：pexels.com/@rawpixel

精确度本身就是一个学习的过程。为精确度准备准确的数据是一个挑战，因为它只能在经过一轮又一轮的建模和更改训练数据之后才能实现。正确数据的定义因此会根据不同情况而显著变化。

例如，想要识别大概率会在奢侈时尚精品店购物的客户，和大概率会在素食餐厅点一道特定餐品的客户，这二者的算法需要不同的设计和架构。尽管这两种算法会有一些共通点，比如说，和其他因素相比，它们的最新消费、消费频率、和货币面值可能相通，但这两个算法的某些变量也会截然不同，这取决于业务的性质。

公平性

 

随着算法越来越公平，在决策过程中个人判断的影响会逐渐消失。这是最重要也是最棘手的挑战。因为在学习过程中，这些算法很有可能会变得不那么公平，因为它们是由人类编程的，而人类的价值观、想法和观点会随之转移到这些人工智能软件中。

这意味着为了能理解机器的自动判断，需要透明公开复杂的程序。有人害怕在金融、法律和技术公司使用机器自动决策，这是因为人们为贪图个人利益，常常利用其决策帮助自己获利，并滥用机密信息。

为什么算法的公平性具有挑战性?

算法的偏差反映了社会混乱的过去。所有被删除的偏差可能仍潜伏在数据中，等着重新出现的机会，这在一定程度上是因为，人们无意间把这些偏差编入了软件，而算法会放大这些偏差。

从表面上看，算法偏差似乎是一个可以用计量经济学和统计学方法解决的工程问题。然而，想要确保一个公正、公平而又合乎伦理的结果，不仅仅要面对来自数据科学的挑战。由于设置人工智能学习程序需要人工干预，因此需要巨大的责任和坚韧的信念，以设置出最为公平的程序。

 

如何量化公平?

在数据科学中，有很多度量标准和方法可供选择。

公平性和精确度之间的权衡是一个重要的考虑因素。

为了确保公平性和准确性，模型必须满足以下两个条件：

1. 一个通用模型，通过迭代逐步变为特定模型，以更好地适应形势。

2. 可灵活修改因素、变量和数据，以确保得到公平的结果。

 

 

基于这些考虑，建议结合以下三种方法，用以量化公平并保持良好的准确性：

交互信息分析

主要针对用于训练模型的原始数据。理解受保护变量(不准备在数据建模中使用的变量)和非受保护变量(准备在数据建模中使用的变量)之间的关系是一个很好的度量标准。

例如，对决定是否能够入围面试名单的算法来说，不能在模型中使用性别这一变量，因为这是一个受保护变量。另一个受保护变量是种族，在模型中不应通过种族，来决定某人是否能申请到助学贷款。

另一方面，像考试成绩和按时付款这样的变量并不是受保护变量，但是很不幸，这些变量可以成为一个代理变量，在数据的训练过程中暗示一个人的种族。如果把此度量标准与下一个度量标准结合起来，也许可以解决这个问题 —— 差别性影响。

差别性影响

同样针对训练数据，揭示了变量对某一人群或某些项目结果的重要性。通过确保每个集群的每个变量的重要性都差不多，可以帮助确保所有集群得到平等的对待。在数据训练过程中，有一种能力在许多情形下都有增强：根据数据集中其他变量预测受保护变量的能力。

比如，在很多情况下，一个人的性别可以根据考试成绩来预测，这就在算法中产生了偏差。通过在迭代过程中修改数据，并减轻某些变量对预测受保护变量结果的影响，可以有选择地降低确定受保护变量的预测能力。

预测性奇偶校验位

主要用于调整模型结果，以确保平等和公平。其主要目标是降低错误率，或预测错误的比率，并确保会降低数据集中所有集群的错误率。

有时，算法会忽略一个社会维度，不符合道德标准，或者忽略一些商业目标。在这种情况下，完全透明公开这些复杂的算法将使人工智能走向大众化，让更负责、更道德、更实用的算法成为可能。

留言 点赞 关注

我们一起分享AI学习与发展的干货
欢迎关注全平台AI垂类自媒体 “读芯术”

（添加小编微信：dxsxbb，加入读者圈，一起讨论最新鲜的人工智能科技哦～）

转载于:https://my.oschina.net/u/4161973/blog/3075886