这篇论文解决的是人机对话中存在的性别偏见问题。数据是单轮对话。
作者给出了解决偏见问题的三个难点:
- 对话中包含很多性别相关的内容,为了消除或减少偏见至少应该区分出哪些内容是有偏见的,哪些是没有的。但是变差的表达形式有很多,所以这不是一件容易的事情。
- 在对话中,消除偏差本就是很难得事情。就是要生成没有偏见的对话本就很难。
- 在生成的对话没有偏差的情况下,还要保持原有的流畅性和多样性。
作者说的这三点对应着后面作者解决问题的思路。并不代表了这个问题的通用属性。
针对这几点,作者设计了一个模型叫Debiased-chat。基本框架如下图。
作者首先构造了没有性别偏见得语料数据,并标注了性别。然后设计了基于对抗网络用来解离不带有性别偏见的特征和其他的语义信息
。输入首先经过编码器进行编码。图中左边的分支是不带有性别偏见的特征,对抗的目标是让模型能够仅用这一部分特征就能够识别出性别来。所以这一部分用的交叉熵损失。P表示的是预测的概率。
右边的分支是其他的语义信息,也包含了带偏见的那一部分信息。对抗的目标是让模型用这一部分信息识别不出来性别。所以这一部分仅用信息熵作为损失,这样可以使预测到的性别的概念接近均匀分布。
上面两个损失只保证了将性别信息分离出来,接下来还需要保证将语义信息分离出来。因此,需要对是否学习到语义信息进行约束。这里的思路跟上面类似,就是反过来,目标是使无偏见的性别特征不能预测句子中出现的词,而语义信息那部分可以预测句子中的内容。
综上,就完成了对无偏见性别特征和语义信息的解离。
解码器部分的的输入就是两个部分向量拼接,然后生成对应的回答。
当然,作者还说了,这个方法不仅适用于性别偏见,还可以用于其他的去偏问题,只要构造出这样的数据集。