因果推断-解决推荐系统公平性的新思路

论文引入

近年来推荐系统公平性成为新的热点，在所有解决公平性问题的方法中，因果推断显得格外靓眼。我们以论文《Recommendations as treatments: Debiasing learning and evaluation》^[1]做为引入，来看看因果推断是怎么应用在推荐系统公平性研究中的。
改论文的思想如下：从因果推断的角度看待推荐问题，我们可以认为在推荐系统中给用户曝光某个商品类似于在医学中给病人施加某种治 疗方式。这两个任务的共同点是，只知道少数病人(用户)对少数治疗方式(物品) 的反应，而大多数的病人-治疗(用户-物品)对的结果是观察不到的。下图是电影爱好者的评分情况。
第一行依次为：真实的评分矩阵\(Y\)、倾向矩阵\(P\)、观察示性矩阵\(O\)；第二行依次为：两个评分预测矩阵\(Y_1\)和\(Y_2\)，介入示性矩阵\(Y_3\)。
可以看到，我们只能统计到少数用户给商品的评分。对于没有被曝光的商品，我们将无法获得其评分数据。
接下来我们定量地分析。用户-物品可以全部观测时的方法如下式所示，即理想状况下的评测标准指标。\(\delta_{u,i}(Y, \hat{Y})\)可以取平方误差、0-1误差等。
用户-物品对可以部分观测时评测的方法如下式所示。
我们设\(\hat{R}_{naive}(\hat{Y})\)关于示性矩阵\(O\)的期望为\(E_O[\hat{R}_{naive}(\hat{Y})]\)。可以看到\(E_O[\hat{R}_{naive}(\hat{Y})]!=R(\hat{Y})\)，说明\(E_O[\hat{R}_{naive}(\hat{Y})]\)只是\(R(\hat{Y})\)的有偏估计。为了达到无偏估计，论文采用逆倾向分数对数据进行加权，此时可构建一个对理想评价指标的无偏估计器IPS Estimator，最终得到的评测标准指标\(\hat{R}_{IPS}(\hat{Y}|P)\)表示如下：
根据该论文所述，预测倾向分数可采用多种方法，如朴素贝叶斯、逻辑回归等。论文提出了一个基于倾向分数的矩阵分解模型(MF-IPS)用于推荐任务。分别在半合成的数据集和真实数据集上证明了IPSEstimator是对理想评测指标的无偏估计和MF-IPS模型效果优于传统的矩阵分解算法，达到了去除选择偏差的目的。

偏差和不公平————基于ML的推荐算法与生俱来的“原罪”

偏差和不公平可以说是基于ML的推荐算法与生俱来的“原罪”，他本质上就暗藏在数据中(没错，数据是会骗人的)，随着机器学习算法的执行而加剧。
目前在公平性领域，人们提出了包括但不限于下面的五种不公平和偏差的来源。人口平等