自动化系统问题：算法偏差

       关于自动驾驶汽车的担忧列表变得越来越长。除了担心他们是多么安全，他们如何处理道路上棘手的道德权衡，以及他们如何使交通变得更糟，我们还需要担心他们如何伤害有色人种。

       根据乔治亚理工学院的一项新研究，如果你是一个皮肤黝黑的人，你可能比白人朋友更容易受到自动驾驶汽车的打击。这是因为自动车辆可以更好地检测出肤色较浅的行人。

       该研究的作者首先提出了一个简单的问题：最先进的物体检测模型（如自动驾驶汽车所使用的模型）检测来自不同人口群体的人员的准确程度如何？为了找到答案，他们查看了包含行人的大型图像数据集。他们使用菲茨帕特里克（Fitzpatrick）秤对人们进行了分割，这是一种将人类肤色从浅到深分类的系统。研究人员随后分析了这些模型在浅肤色组中正确检测到人的存在的频率，以及他们与黑皮肤组中的人的正确关系。结果？对于深色皮肤组，检测平均精确度低5个百分点。即使研究人员控制了诸如图像中的时间或偶尔阻碍的行人视线等变量，这种差异仍然存在。

       “我们工作的主要内容是，应该更密切地研究与我们测试的结构共享共同结构的视觉系统，”该研究的作者之一Jamie Morgenstern告诉我。

       报告“物体检测中的预测性不公平”应该带有一丝盐味。它尚未经过同行评审。它没有测试任何实际被自动驾驶汽车使用的物体探测模型，也没有利用自动驾驶汽车制造商实际使用的任何训练数据集。相反，它测试了学术研究人员使用的几种模型，这些模型在公开数据集上进行了培 研究人员不得不这样做，因为公司不会将他们的数据提供给审查 - 这是一个严重的问题，因为这是一个公共利益问题。

       这并不意味着该研究没有价值。正如未参与该研究的AI现在研究所的联合主任凯特克劳福德在Twitter上说：“在一个理想的世界中，学者们将测试自动汽车制造商使用的实际模型和训练集。但鉴于这些问题从未提供（本身就存在问题），这些论文提供了对非常真实风险的深刻见解。“

算法可以反映其创作者的偏见

        该研究的见解增加了越来越多的关于人类偏见如何渗透到我们的自动决策系统中的证据。它被称为算法偏差。

        最着名的例子在2015年曝光，当时谷歌的图像识别系统将非洲裔美国人称为“大猩猩”。三年后，亚马逊的Rekognition系统引起了对28位国会议员与犯罪照片的匹配的批评。另一项研究发现，三种面部识别系统--IBM，微软和中国的Megvii--更容易误认为皮肤黝黑的人（特别是女性）的性别，而不是浅肤色的人。

       由于算法系统从他们被喂养的例子中“学习”，如果他们在学习阶段没有得到足够的黑人女性的例子，他们将在部署时更难以识别它们。

        同样，自动驾驶汽车研究的作者指出，有几个因素可能会加剧他们案件的差异。首先，物体检测模型大多数都是根据浅肤色行人的例子进行训练的。其次，这些模型没有足够的重视从他们确实拥有的几个黑皮肤的人的例子中学习。

       研究人员发现，在训练数据中对样本进行更大权重可以帮助纠正偏差。因此，首先可以包括更多深色皮肤的例子。至于更广泛的算法偏差问题，有几种常见的解决方案。一是确保开发新技术的团队具有种族多样性。如果所有团队成员都是白人，男性或两者，他们可能不会检查他们的算法如何处理黑人女性的形象。但如果房间里有一个黑人女性，那么很可能会出现在她身上，正如麻省理工学院的Joy Buolamwini所说明的那样。

        另一个解决方案是要求公司测试他们的算法以获得偏差，并证明他们在推出之前符合某些公平标准。

        “人类机器智能指南”一书的作者Kartik Hosanagar 在告诉他自驾车研究的结果时并不感到惊讶，并指出“有这么多故事”。展望未来的解决方案，他说，“我认为对偏见的明确测试是一件更有用的事情。要求每个团队都需要有足够的多样性，这很难，因为多样性可以是很多东西：种族，性别，国籍。但是要说公司必须做的某些关键事情 - 你必须测试种族偏见 - 我认为这会更有效。“

        这些修复不是互斥的。并且可以说，在有色人种被迫首当其冲之前，尽一切可能根除种族偏见符合公司的最佳利益。

参考

https://www.vox.com/future-perfect/2019/3/5/18251924/self-driving-car-racial-bias-study-autonomous-vehicle-dark-skin