全文共2655字,预计学习时长5分钟
先试着猜猜下面的谜语吧:
一对父子在外开车时遭遇了一场可怕的意外。 父亲当场去世,儿子也性命堪忧,被立即送往医院,准备进行手术。 外科医生走进手术室,看见病人后大叫: “我没法做手术,这是我儿子! ”那么外科医生是谁呢?
你的答案是什么?你有考虑外科医生是男孩母亲的可能性吗?如果没有,放心,你不是唯一一个。一份研究显示,在受访的197名波士顿大学心理学专业学生中,只有14%的人想到“外科医生是妈妈”,而参加波士顿附近夏令营的103名孩子中,也只有15%的孩子想到这个可能性。
当一台计算机进行解谜时,它的表现如何?约翰霍普金斯大学的研究员运用了基于斯坦福CoreNLP规则的指代系统来测试一个相似的范例,这个系统能识别表示同一件事的单词或短语。回到刚刚的谜语,下面是研究员用系统测试的三句话,每句话对外科医生的指代都不同:一句用男性人称代词,一句用中性人称代词,还有一句用女性人称代词:
外科医生不能为他的病人做手术:这是他的儿子!
外科医生不能为他们的病人做手术:这是他们的儿子!
外科医生不能为她的病人做手术:这是她的儿子!
在前两个有男性及中性人称代词的句子中,系统能正确识别。第一个例子中,“他的”指的是“外科医生”,在第二个例子中,“他们的”指的是“外科医生”。然而在有女性人称代词的句子中,系统无法识别。相反,系统认为“这”是指代“外科医生”的人称代词。
这只是一个关于算法性别歧视的例子。
和我们一样,算法性别偏见是算法在性别图示指导下,透过性别这面透镜来审视世界的代表性现象。正如人的大脑运用性别图式将生活中遇到的刺激物分为“男性的”或“女性的”,算法也形成并运用它们自己的性别图式。
讽刺的是,这些算法性别图式所代表的价值观与创新背道而驰。他们在有能力扭转这些过程时,却没有改变偏见、成见和不平等。
在思考如何消除算法性别图式之前,先看看它们在当今科技中三种实现方式吧。
图片来源:pexels.com/@luizclas-170497
1. 科技创造者带来了算法性别图式
据说算法偏见诞生于1979年,当时圣乔治医院的医学院运用一种程序来自动筛选学生的入学申请。表面上看这个算法很成功,将结果与招生委员会的核对时,其准确率达90%至95%。然而这个准确度也造成对女性及非欧洲血统的歧视。
有些科技偏见并非是无意的。
根据联合国教科文组织于2019年发布的数字技能及性别报告,女性在美国机器学习研究员中仅占12%,在全球移动应用或软件的开发者中占6%。这种不平衡在一定程度上可以解释为深思熟虑后高层决策中的性别偏见。例如,最近《纽约时报》的一篇文章聚焦于如何用最权威的方式来表示性别及命名,并适用于虚拟助手:亚马逊、苹果及微软将它们颇受欢迎的虚拟助手分别命名为Alexa,Siri和Cortana。
不论性别是否是决策的重要部分,决策者的性别偏见一定能体现在结果中。
2. 性别化经济力量告知了算法性别图式
算法性别图式形成的下一过程取决于经济。
伦敦商学院及麻省理工学院的研究员开展了一项现场试验,以观察脸书(Facebook)将如何向来自191个国家的男女展示一个刻意中性化的科学、技术、工程和数学(STEM)职业推广广告。现场试验的结果表明,看广告的男性人数比女性多20%。将广告放在谷歌关键字广告、照片分享、及推特上,也得到了类似的结果。
通过后续的测试,研究员们得到一种解释:“相比男性,广告商要花更多的钱来吸引女性的眼球。”
在研究员称之为“挤出”的过程中,针对女性投放的广告,其成本越高,就往往会在广告拍卖中赢得消费品广告的屏幕投放权,这决定了针对特定人群的广告可以获取最大的利润。也就是说,消费品市场中的性别差异化广告可能是造成就业市场中性别差异化广告的原因。
3. (机器)学习算法性别图式和完美风暴
回想起来,本文其实从未解释在指代系统中“外科医生”无法等同于“她”的原因。部分答案就在第三个过程中。算法性别图式在第三个过程中形成了:学习。研究员用一系列系统来测试与职业相关的指代问题,他们发现系统的表现与实际就业数据及网上提及的性别为男或女的职业相关。算法(大概)在已倾斜的数据集中进行训练,使得它们重塑了社会中现存的模式。除此以外,已知数据集的潜在经济因素和系统创造者也并没有纠正这种内在偏见。
三个过程的结合带来了完美风暴,形成了算法性别图式。社会中现存的偏见及不平等使得每个过程都有可能出现。然而,人们也能想象到其对立面,即设计出定义社会的科技过程。
放轻松,让科技的社会建设持续下去或停止
下面的照片中一位女士身旁有一辆分步式自行车,请注意横杠的特殊位置。这个例子很好地证明了女性在该时代穿长裙的规范促成了支持此种价值观的技术。
分步式自行车,19世纪90年代
这辆自行车是则隐喻,它展现了性别规范是如何影响算法设计,从而影响这种算法的含义。更糟的是,自行车上的奇特横杆显而易见,而在算法中这一过程却很难检测。
想象一个没有性别图式的世界
人们无需像算法一样死板,算法沉浸在科技荣耀和未发掘的社会变革潜力中,它们不断内置非数字世界中存在的偏见、成见和不平等。
接下来将介绍桑德拉·贝姆的观点,她是一位卓越的心理学家,在性别研究上有革命性的拓展。她于1998年出版了《一个非传统型家庭》,书中描述了她耗时却引人瞩目的行为。这么做是为了在孩子们成长过程中,为他们创造一个弱化性别图式的世界。她有时会删去儿童书里某一女性化的名字,并用男性化的姓名代替,以此表明男孩穿裙子也是正常的。再如,她多次独自开车经过一个建筑工地,只因那儿有一名女性建筑工人。
让非性别心理学家每天实施这些计划,或许是有点强人所难,除非有什么东西可以自动做这些事。这就是核心矛盾所在。
人们可以为Alexa一类的虚拟助手设计程序,让它们在使用时随机选择男性、女性或中性声音,这样它们也不会只局限于女性性别图式。
在设计虚拟助手为孩子读故事的程序时,可以让它们为每个人物随机选择姓名或人称代词,这样故事中的人物就不会受到隐性偏见的影响。
人们也可以设定虚拟助手或应用软件的程序,让它们客观地决定哪个孩子在某一天做什么家务,这样孩子的性别就不会影响决定。
科技、算法、人工智能,人们总是听说它们能带领人类走向未来。但事实上,人们创造出和人类一样有缺陷的机器,陷入自我偏见的循环,使得人类停滞不前。除非决心放弃用当今的社会规范来构建科技,否则人类将无法抵达未来。
留言 点赞 发个朋友圈
我们一起分享AI学习与发展的干货
编译组:徐粲、张淑霏
相关链接:
https://medium.com/@amandadavis2021/algorithms-have-gender-schemas-too-38d0dd244cd0
如需转载,请后台留言,遵守转载规范
推荐文章阅读
长按识别二维码可添加关注
读芯君爱你