《Fair Generative Modeling via Weak Supervision》论文阅读笔记

最新推荐文章于 2023-05-12 16:26:02 发布

巍巍微澜

最新推荐文章于 2023-05-12 16:26:02 发布

阅读量147

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/weixin_44846680/article/details/115381149

版权

机器学习专栏收录该内容

9 篇文章 1 订阅

订阅专栏

《Fair Generative Modeling via Weak Supervision》论文阅读笔记

来自ICML 2020的一篇poster。

1 Motivation

1）Generative model has a wide range of application scenarios, such as Bert and GPT3 in NLP field, GaN and VAE in CV field, etc.

生成式模型具有广泛的应用场景，如NLP领域的BERT和GPT3，CV领域的GAN、VAE等。

2）Due to the acquisition cost of data sets and other reasons, there are more or less deviations in the commonly used data sets at present, which leads to the deviations in the generated model trained on this basis, and ultimately affects the performance of the model.

由于数据集获取成本等原因，目前常用的数据集或多或少存在偏差，导致以此训练出来的生成模型也存在偏差，最终影响了模型的表现。

CelabA中存在的性别偏见

具体来说，在目前通用的生成模型中，往往将数据集中所有数据对损失函数的贡献均等考虑，即默认数据集中的各个属性是独立同分布的，而实际上想获取一个足够大的无偏数据集是非常困难的，这也就意味着，当使用人工筛选的无偏数据集进行实验时，由于样本数量太少，导致模型效果不好；而使用有偏数据集，将导致训练出来的模型也存在偏见。本文的出发点就在于同时使用无偏和有偏数据集，根据数据来源预先训练一个贝叶斯分类器，然后对生成图像进行重新赋权，平衡数据集中优势属性与劣势属性的权重，实现在有偏数据集上的弱监督无偏数据生成。

2 Contribution

提出一个数据赋权方法，降低被偏爱数据属性在loss中的权重，平衡数据集偏差。

A data weighting method is proposed to reduce the weight of the preferred data attributes in loss and balance the data set deviation

将该理论应用于BigGAN对CelabA的图像生成实验，实现了较好的纠偏效果。

3 Approach

3.1 数据集构造

本文定义了两个数据集，一个是无偏数据集 $D_{\mathbb{ref}}$ ，认为这里面的数据都是独立同分布的，另一个是有偏数据集 $D_{\mathbb{bias}}$ ，认为这里面对于不同属性，可能存在数据偏差，在进行训练时，将这两个数据集一起用于模型训练。即 $D_{\mathbb{data}} = D_{\mathbb{ref}} \cup D_{\mathbb{bias}}$ 。这两个数据集在构造时通过人工筛选得到。

3.2 重要性权重（Importance Weight）

本文对于数据纠偏的解决方法就是对不同数据施加一个重要性权重，这是本文的核心思想之一，而这个解决思路实际上异常简单，所谓数据 $x_i$ 的重要性权重，就是 $x_i$ 来自无偏数据集的概率与有偏数据集概率的比值，即：
$w(x_i) := p_{\mathbb{ref}}(x)/p_{\mathbb{bias}}(x)$
注意，这里的重要性权重计算公式只针对有偏数据，无偏数据的重要性权重 $w(x_i)=1$ 。

为什么这么设计呢？在这里我们已经知道，对于无偏数据集 $D_{\mathbb{ref}}$ 来说，我们可以直接用所有数据计算loss函数的均值作为模型的损失函数，不需要考虑赋权问题，这就相当于是一份模范作业，而有偏数据集就是被老师抓上黑板的差生，被要求尽量向好学生靠拢，所以对于有偏数据集计算出来的loss，用无偏数据与有偏数据的概率进行归一化，就能让有偏数据集的loss结果向无偏数据集靠拢，不至于使有偏数据集中的优势属性占据过多权重，挤占了弱势属性在计算loss时的比重。作者在引入重要性权重时，借用了下面这个公式说明其意图，正是使有偏数据与无偏数据计算loss时尽量取得相同的结果：

3.3 贝叶斯分类器

前面我们已经知道本文定义重要性权重的方法了，现在问题在于，对于GAN网络模型，我们如何知道生成的fake image属于有偏数据集还是无偏数据集呢？这个时候考虑使用一个二值分类器，给生成数据打标签，本文使用的是一个贝叶斯分类器来完成这个任务，即输出图像属于哪个数据集的经验概率。

根据贝叶斯概率公式，我们可以先写出重要性权重的估计值：
$w(\mathrm{x})=\frac{p_{\mathrm{ref}}(\mathrm{x})}{p_{\mathrm{bias}}(\mathrm{x})}=\gamma \frac{c^{*}(Y=1 \mid x)}{1-c^{*}(Y=1 \mid x)}$
上面的 $c^{*}$ 是一个二值贝叶斯最优分类器，将输入的 $x$ 分成0和1两类，0表示有偏数据集，1表示无偏数据集， $\gamma = p(Y=0)/p(Y=1)$ ，是一个已知常数，为数据集中有偏数据与无偏数据数目的比值。

3.3.1 经验贝叶斯分类器

所以这一阶段的目标转化为训练一个能够精准区分数据来源的贝叶斯分类器，而我们都知道，想要实际上拟合一个最优分类器是很困难的，我们只能尽量去逼近它。在实际训练时，作者使用ResNet18作为网络结构，此处用到第一个标签，即训练集中数据的来源（有偏还是无偏数据集），损失函数如下：

训练贝叶斯分类器用的是经典的NCE loss，不作过多介绍，最终，使用如下形式的经验重要性权重作为重要性权重的表达形式：
$\hat{w}(\mathrm{x})=\frac{c(Y=1 \mid x)}{c(Y=0 \mid x)}$

3.3.2 最优贝叶斯分类器

为了评估上面那个经验贝叶斯分类器是不是达到了良好的分类效果，作者给出了最优贝叶斯分类器的NCE计算方式：

也就是说，当经验贝叶斯分类器训练到最优的时候，它的分类结果应该和每个属性通过上式计算的均值相等。

3.4 算法

最后附上本文的算法：

4 Experiment

总的来说，本文的思想就是使用上面的贝叶斯经验分类器计算出有偏差数据集的重要性权重，再在计算loss时引入这个权重，实现纠偏，思想比较简单。

本文的实验对象是BigGAN，只做了在CelebA上的实验，评估了其纠偏能力和图像质量，给出了定量和定性结果，并对不同组件设置进行了一定的消融实验。

实际操作时，本文构造了三种bias模式：

1）单属性模式，偏差为0.9。这一组比较的是性别偏差，也就是在有偏数据中，有90%的人脸属于女性。

2）单属性模式，偏差为0.8。这一组比较的是性别偏差，也就是在有偏数据中，有80%的人脸属于女性。

3）多属性模式。这一组比较的是性别与发色的组合偏差，这一组中男女性别比例大致相同，而非黑发占据压倒性优势。

4.1 实验指标

本文从GAN网络生成图像的公平性和图像质量两个方面进行评估，图像质量的评估用的是GAN网络领域的老方法FID，公平性指标定义了一个Fairness Discrepancy指标，计算的是
$f(p_{\mathbb{ref}},p_{\theta})={|{\mathbb{E}}_{p_{\mathbb{ref}}}[p(\mathbb{u}|\mathbb{x})]-{\mathbb{E}}_{p_{\mathbb{\theta}}}[p(\mathbb{u}|\mathbb{x})]|}_2$
也就是比较某个属性 $\mathbb{u}$ 在本文构造的数据集训练出的模型与无偏数据集训练出的模型之间的似然差异，采用蒙特卡洛法计算。