预训练语言模型去偏方法——与特定任务相关

最新推荐文章于 2024-10-04 22:36:54 发布

NLP的小Y

最新推荐文章于 2024-10-04 22:36:54 发布

阅读量1.2k

点赞数 22

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/cjnn0710/article/details/141035962

版权

在这里插入图片描述

一、对抗学习

1.1 ADV-标准对抗

在这里插入图片描述
● 主要思想：防止鉴别器识别受保护的属性。以对抗性方法训练模型，并明确掩盖受保护信息。
● 损失函数：

1.2 EADV-优化对抗

● ADV存在的问题：在某些情况下，即使对抗性组件似乎做得很完美，仍有相当数量的受保护信息，并且可以从编码的表示中提取。
● EADV主要思想：探索提高对抗性训练的优化方法。
● 优化方法：

增加鉴别器的隐藏维数；
在训练过程中，为对抗性成分分配不同的权重；
使用具有不同初始化的鉴别器集合；
每个t个epoch后, 重新初始化鉴别器的权重。

集合鉴别器的效果最好，不同的鉴别器可以各自专注于代表的不同方面。

1.3 DADV-正交集成对抗

在这里插入图片描述
● EADV存在的问题：它不能确保不同的子鉴别器专注于表示的不同方面。
● DADV主要思想：采用多个具有正交性正则化的鉴别器进行对抗性训练。鼓励鉴别器相互学习正交的隐藏表示。

1.4 A-ADV-考虑目标标签的对抗

在这里插入图片描述
● 之前的对抗存在的问题：删除受保护信息时没有考虑目标标签。
● A-ADV主要思想：在m和d之间增加了一个额外的增强层a，其中a考虑了y来创建更丰富的特征。由于a提供了增强的表示，d能够基于ha做出更好的预测g。

二、对比学习

1、主要思想：对比方法学习正样本对的相似表示和负样本对的不同表示。
2、构建正负样本对：
● 传统的InfoNCE方法：从联合分布PXY中采样正样本对（x和y是不同的视图；例如，同一图像的增广变体），从边际分布PXPY采样负样本对（例如，x和y是两个随机图像）。InfoNCE的目标是最大化从联合分布抽样的数据对之间的相似性得分，并最小化从边际分布抽样的数据对之间的相似性得分。
在这里插入图片描述

3、条件对比学习：
● Weakly Supervised：将来自数据的辅助信息（如图像的标注属性）作为一个弱监督信号，对具有相同辅助信息的数据学习相似的表示，对具有不同辅助信息的数据学习不同的表示。
● Fair：对包含敏感属性的样本中抽取负样本，来消除表征中不希望的敏感信息（如性别）。可以防止模型使用敏感信息区分正对和负对（因为所有正和负样本具有相同的结果），模型在对比学习过程中忽略敏感属性的影响。
● Hard-negative：对比学习可以从硬负样本（即难以与x区分的样本y）中获益，但不是将两个任意的数据视为负对，而是从两个彼此相距不远的随机数据构建一个负对。

2.1 CCL-K-条件对比

在这里插入图片描述

● 主要思想：对比方法学习正样本对的相似表示和负样本对的不同表示。
● 条件对比学习存在的问题：给定一个x及其对应的条件变量结果z，如果z不常见，很难采样与z相关的y。
● CCL-K：提出将这些目标转换为其他形式，以避免对PY |Z的数据进行抽样，并且可以保留与原始形式相同的功能。即不是从PY |Z中采样y，而是从现有的Y数据中采样y，这些数据的相关条件变量的结果接近于z。比如说：抽样年龄为80岁的样本，CCL-K不是直接对80岁的数据进行采样，而是对所有数据点进行采样，且为70-90岁的数据分配最高的权重。即用相似结果的数据来支持条件抽样。