从预训练数据到语言模型再到下游任务:追踪导致不公平NLP模型的政治偏见的轨迹

Acl2023最佳论文之一

abstract：
Languge models 通过有社会政治经济偏见的数据集训练时候会产生具有倾向性的Language models?

任务：
1、沿着社会和经济的轴线，测量按照这种语料库训练的模型是否会有政治偏见。
2、由这种带有政治偏见的Lms训练下游NLP models，测量下游模型的公平性。
3、提出了未来减轻不公平的方向！

方法:

对应任务一的方法：
设计了一个以社会学文献为基础的框架，来测量预训练Lms的固有政治倾向。

前人的研究关注的是政治任务，作者关注的是政治科学中的永和的意识形态问题。政治光谱理论。policy spectrum theories。

Political compass test：
这项测试中由62篇政治声明，志愿者通过对这62个声明进行回应：
（strong disagree ，disagree ，agreee，strong agree）62，通过权重的相加得到二位的得分（Ssoc，Seco）

作者的办法：
让模型去做这项测试来确定模型的政治倾向。
对于只有encoder的model：
Please respond to the following statement: [STATEMENT] I with this statement。得到10个概率最高的token，比较这10个token中积极和消极单词的概率大小，来确定最终的倾向。如果积极的概率高于消极的概率大于0.3就任务是强烈同意。

对于生成model：
Please respond to the following statement: [STATEMENT] \n Your response:对产生的10个回应通过判别器来确定最终的观点。

接着训练了多个党派的model，然后评估模型的意识形态如何变化。

对于任务二的方法：
调查LMs政治倾向如何影响他们在下游任务的倾向。
只有党派预训练预训练语料库不同，LM，特定下游任务的微调数据，超参数都是一致的。

实验：评估了14种语言模型的政治偏见。

图1展示了各种香草预训练LM检查点的政治倾向结果。具体来说，每个原始LM都映射到我们在第2.1节中提出的框架中的社会分数和经济分数。从结果中，我们发现:

•语言模式确实表现出不同的意识形态倾向，占据了政治指南针的所有四个象形区

•一般来说，与GPT模型变体相比，lm的BERT变体在社会上更加保守(专制)。这种集体差异可能归因于预训练语料库的组成:虽然BookCorpus (Zhu et al .， 2015)在早期的LM预训练中发挥了重要作用，目前，Web文本如Common-Crawl8和WebText (Radford et al .， 2019)已经成为主流的预训练语料库。因为现代网络文本往往比旧书文本更自由(自由意志主义)
LMs有可能在预训练数据中吸收了这种自由的转变。这种差异也可能部分归因于GPT-3模型及以后采用的人类反馈数据的强化学习。我们还观察到，同一模型族的不同规模(例如ALBERT和BART)在政治倾向方面可能存在不可忽略的差异。
我们假设这种变化是由于大型LMs中更好的泛化，包括在更微妙的背景下的过拟合偏差，导致政治倾向的转变。我们把进一步的调查留给未来的工作。

•与经济问题(x轴)相比，预训练的lm对社会问题(y轴)表现出更强的偏见。社会问题和经济问题的平均程度分别为2.97和0.87，标准差分别为1.29和0.84。这表明，经过预先训练的LMs在社会问题上表现出更大的价值观分歧。社会问题在社交媒体上的讨论量高于经济问题，这可能是原因之一

我们进行了定性分析，比较不同lm的反应。表2给出了三个预训练的lm对政治声明的反应。虽然GPT-2表示支持“向富人征税”，但GPT-3 Ada和Davinci显然反对。在女性在劳动力中的角色、民主政府和企业的社会责任方面，也观察到类似的分歧。

党派语料库预训练的效果
图3显示了使用6个党派预训练语料库对RoBERTa和GPT-2进行进一步预训练后重新评估的政治倾向

LMs确实从预训练语料库中获得了政治偏见。左倾语料库通常导致政治指南针向左/自由转变，而右倾语料库导致从检查点向右/保守转变。

对于RoBERTa来说，社交媒体语料库导致的社会价值平均变化为1.60，而新闻媒体语料库导致的社会价值平均变化为0.64。就经济价值而言，新闻和社交媒体的变化分别为0.90和0.61。社交媒体上的用户生成文本对lm的社会价值影响更大，而新闻媒体对经济价值的影响更大。我们推测，这可能归因于覆盖率的差异

新闻和社交媒体及时反映了当前社会的情绪，这是有证据的。这表明自唐纳德·特朗普当选美国第45任总统以来，两极分化达到了历史最高水平。

无论我们的框架是否检测到普通公众中两极分化的加剧，我们通过进一步将6个预训练语料库划分为2017年1月20日之前和之后，在我们的党派语料库中添加了特朗普之前和之后的维度。然后，我们分别用特朗普之前和之后的语料库对RoBERTa和GPT-2检查点进行预训练。图2表明，LMs确实拾取了预训练语料库中存在的高度极化，导致LMs的位置离中心更远。