【推荐公平性论文阅读笔记】：Fairness-Aware Explainable Recommendation over Knowledge Graphs-顶会

一、内容概述

1.1 主要内容

非活跃用户的训练数据不足可能导致其更容易接收到不令人满意的推荐，并且由于协同过滤的性质，他们的推荐可能受到更多活跃用户训练记录的影响，这导致了系统的不公平待遇。在基于知识图(KG)的可解释推荐环境中，本文提出了一种基于启发式重排序的公平约束方法来缓解这种不公平问题，该算法不仅能够提供高质量可解释的推荐，且在几个方面减少了推荐的不公平性。

1.2 研究背景

1. 非活跃用户交互数据较少，用户-项目交互的缺乏意味着相应的用户偏好几乎没有被捕获，导致推荐系统模型对此类用户的可见性较弱。
2. 当前可解释推荐模型不仅在推荐性能方面不公平地歧视用户，还会根据解释多样性进一步区分用户。
3. 由于知识图谱保存了结构化和关系化的知识，它们使得追踪特定推荐的原因变得容易，因此，基于知识图的方法在可解释的推荐中变得越来越流行。

1.3.本文贡献

4. 为验证关注的可解释推荐系统中的不公平问题，本文研究了亚马逊的四个电子商务数据集，并进行数据驱动的观察分析，以评估它们的数据不平衡特征。为了量化这种不公平，本文设计了关于推荐性能和解释多样性的群体公平和个体公平标准。
5. 为了减轻任何潜在的算法偏差以提高推荐质量，并提供多样化的解释，特别是对于弱势用户，本文提出了一种公平感知算法，以提高公平的可解释的多样性，从而产生潜在的感兴趣的推荐项目。
6. 通过大量的实验和案例研究，定量的结果表明，本文的公平感知算法在推荐和公平评估两方面都提供了显著的改进，无论是在群体层面还是在个体层面，并且能够对多个KG-enhanced的可解释RS方法具有可推广性。

二、公平感知算法

2.1 相关概念

1. 知识图表示为$G=\{(e_h,r,e_t)|e_g,e_t\in E,r\in R\}$，E为一组实体，R为一组连接两个不同实体的关系，在推荐场景中，$e_h$属于用户集$U$，$e_t$属于项目集$V$。
2. 模式$\pi$定义为图中长度为$|\pi |$的一个关系序列， π = { r 1 ◦ r 2 ◦ ⋅ ⋅ ⋅ ◦ r ∣ π ∣ ∣ r i ∈ R , i ∈ [ ∣ π ∣ ] } π = \{r_1 ◦ r_2 ◦ · · · ◦ r_{|π|} | r_i ∈ R,i ∈ [|π|]\} π={r1​◦r2​◦⋅⋅⋅◦r∣π∣​∣ri​∈R,i∈[∣π∣]}，关于模式$\pi$的用户u到项目v的连接路径$L_{uv}^{\pi }$定义为
   L u v π = { e 0 , r 1 , e 1 , . . . , e ∣ π ∣ − 1 , r ∣ π ∣ , e ∣ π ∣ ∣ ( e i − 1 , r i , e i ) ∈ G , i ∈ [ 1 , ∣ π ∣ ] } L_{uv}^π = \{e_0,r_1, e_1, . . . , e_{|π|−1},r_{|π|}, e_{|π|} \big| (e_{i−1},r_i, e_i) ∈ G,i ∈ [1, |π |]\} Luvπ​={e0​,r1​,e1​,...,e∣π∣−1​,r∣π∣​,e∣π∣​ ​(ei−1​,ri​,ei​)∈G,i∈[1,∣π∣]}且满足$e_0=u,e_{|\pi |}=v$
3. 用户-项目路径分布$D_{u,V}$定义为$$D_{u,V(\pi )}=\frac{N(\pi )}{{\sum }_{{\pi }^{\prime }\in \Pi }N({\pi }^{\prime })}$$其含义可理解为对于用户u连接的项目v的模式$\pi$出现的频率。
4. 知识图的可解释推荐
   给定一个不完整的知识图$G$，目标是恢复缺失的事实$\{(u,r_{uv},v)|(u,r_{uv},v)\notin G,u\in U,v\in V\}$使得每个事实$(u,r_{uv},v)$与一个用户-项目路径$L_{uv}^{\pi }$相关联，其中项目v是对用户u的推荐，路径$L_{uv}^{\pi }$是对该推荐的解释。
   （个人理解）寻找潜在的能够与用户u和项目v的建立连接的模式$\pi$路径。

2.2 公平问题

1. 数据不平衡
   本文从用户交互的角度来考虑用户活动的可见性，当前可解释模型忽略了用户-项目交互数据中的这种差异。通过观测亚马逊数据集中购买的商品数量的分布，可以发现，虽然活跃用户倾向于购买更多商品，但大多数消费者是不活跃的用户，他们的用户-项目路径模式缺乏多样性，这种不平衡可能导致有偏见的模型，其在推荐质量和解释多样性方面表现出不公平。

2. 多样性量化
   为了更好地评估两组之间路径分布的差异，引入*Simpson’s Index of Diversity(SID)*作为量化模式多样性不公平的指标。
   假设每个用户代表一个独特的社区，而相应的用户-项目路径的模式表示这样一个社区中的物种。形式上，SID测量两个随机选择的单个用户-项目路径属于同一个用户-项目路径模式的概率。在两次随机抽取中获得相同模式的概率被定义为（参考生态科学中SID定义式）$$T_{uv}(R,N)=1-\frac{{\sum }_{i=1}^R{n}_i(n_i-1)}{N(N-1)}$$其中，

   • R表示指定用户u到项目v的路径模式的数量；
   • $n_i$表示属于第$i$个路径模式的这种路径的数量；
   • N是源自用户u的用户项目路径总数；

   SID值范围在0和1之间，较大的值表示较大的路径模式多样性。

2.3 公平目标

• 群体不公平度量
  当来自两个组的用户保持相同的正面决策概率时，组公平成立。在本文设置中，考虑一组活跃用户G1对一组不活跃用户G2，根据历史记录中购买的商品数量来定义，即$G1\cap G2=\varnothing$。
  假设有m个用户与N个项目相关联，用$Q=[Q_{ij}{]}_{m\times N}$，其中$Q_{ij}\in 0,1$表示是否选择j项推荐给用户$u_i$，第i行向量中1的个数为K。
  • 群体推荐不公平定义(GRU)：$$GRU(G_1,G_2,Q)=|\frac{1}{|G_1|}\sum _{i\in G_1}F(Q_i)-\frac{1}{|G_2|}\sum _{i\in G_2}F(Q_i)|$$其中，使用符号F来指代对推荐质量进行评分的度量，使得$F(Q_i)$表示用户$u_i$的推荐质量，调用诸如NDCG@K或F1分数。GRU计算两个群体的平均推荐质量得分之差。
  • 群体解释多样性不公平(GEDU):$$GEDU(G_1,G_2,Q)=|\frac{1}{|G_1|}\sum _{i\in G_1}f(Q_i)-\frac{1}{|G_2|}\sum _{i\in G_2}f(Q_i)|$$其中，其中$f(Qi)$根据用户$u_i$在可解释路径的历史交互多样性来反映解释公平性得分，计算方式的具体定义在后面。
• 个人不公平度量
  个人公平指相似的人应该得到相似的对待。在本文的推荐设置中，不可能满足个体公平性的严格标准，因为本文专注于解决算法偏差，而不是固有的数据不平衡。
  • 个人推荐不公平(IRU)：$$IRU(Q)=\frac{{\sum }_{Q_x,Q_y}|F(Q_x)-F(Q_y)|}{2m{\sum }_{i=1}^{m}F(Q_i)}$$其中，$x\ne y$，即随机选择两个不同的个体。本文援引了基尼系数来量化个人推荐性能的不公平性，它的范围从0到1，其中1代表最大的不平等，而0意味着完全平等。
  • 个人解释多样性不公平(IEDU)：$$IEDU(Q)=\frac{{\sum }_{Q_x,Q_y}|f(Q_x)-f(Q_y)|}{2m{\sum }_{i=1}^{m}f(Q_i)}$$
• 问题描述
  本文不是在缺失路径寻找过程中施加公平性约束，这将需要大量的计算工作来重新训练现有的模型，而是对给定的现有模型选择的用户项目路径的候选集进行公平性感知的路径重新排序，以获得高质量的可解释推荐，同时满足公平性约束。

2.4 公平感知算法

本文的公平感知算法应该考虑历史用户交互和生成的可解释路径的多样性，所以引入两个分数，分别为路径得分$S_p$和多样性得分$S_d$。

• Path Score：衡量路径的质量，计算如下式$$S_p(Q_i)=\sum _{j=1}^N\sum _{\pi \in \Pi }{Q}_{ij}{S}_{\pi }(i,\pi )$$其中，

  • $Q_i$为推荐项目的向量；
  • $S(u,\pi )$为用户u的偏好调整系数，计算如下式$$S(u,\pi )=\frac{w_{\pi }}{D_{u,V(\pi )}}\sum _{L_{uv}^{\pi }\in {\mathcal{L}}_{uv}^{\pi }}{\ell }_{path}(L_{uv}^{\pi })$$其中，
    • ${\mathcal{L}}_{uv}^{\pi }$为从用户u开始的关于路径模式π到项目v的所有正用户-项目路径的集合；
    • ${\ell }_{path}(L_{uv}^{\pi })$是一条路径的分数，$${\ell }_{path}(L_{uv}^{\pi })=\sum _{i=1}^{|\pi |}({\vec{e}}_0+{\vec{r}}_i)\cdot {\vec{e}}_i,(where{e}_0=uand{e}_{|\pi |}=v)$$
    • $w_{\pi }$是生成的可解释路径中路径模型π的权重，计算如下式$$w_{\pi }=log(2+\frac{|{\mathcal{L}}_{uv}^{\pi }|}{{\sum }_{{\pi }^{\prime }}|{\mathcal{L}}_{uv}^{{\pi }^{\prime }}|})$$
    • $D_{u,V(\pi )}$为2.1.3中定义的训练集中路径模型$\pi$的分布权重

• Diversity Score：衡量可解释路径多样性的分数，计算如下式$$S_d(Q_i)=\sum _{j=1}^N\sum _{|\Pi |}{Q}_{ij}{\mathcal{T}}_{ij}(\Pi ,N_j)$$其中，

  • $\Pi$为知识图中有效用户-项目路径模式的数量；
  • $N_v$指从用户u到项目v的路径总数；
  • ${\mathcal{T}}_{uv}(\Pi ,N_v)$指(u,v)对的辛普森指数；

• Fairness score：通过合计路径和多样性得分，就可计算出用户$u_i$的公平性得分$$f_i(Q_i)=\alpha S_p(Q_i)+(1-\alpha )\lambda S_d(Q_i)$$其中，α∈[0,1]是两个分数的加权因子，λ是一个让两个分数归一化到同一比例的比例因子。

• Recommendation score：遵循基线方法计算用户$u_i$和项目$v_j$之间的偏好得分S(i,j)，则此时的目标变为为每个用户$u_i$寻找一个选择策略来推荐满足组公平约束的K个项目，即推荐优化问题如下$$\underset{Q_{ij}}{\max }\mathcal{R}=\sum _{i=1}^m{\mathcal{R}}_{rec}(Q_i)$$其中，
  - ${\mathcal{R}}_{rec}(Q_i)={\sum }_{j=1}^N{Q}_{ij}S(i,j)$
  - ∑ i = 1 m Q i j = K , Q i j ∈ { 0 , 1 } \displaystyle\sum_{i=1}^mQ_{ij}=K,Q_{ij}∈\{0,1\} i=1∑m​Qij​=K,Qij​∈{0,1}
  - $GRU(G_1,G_2,Q)<{\epsilon }_1$
  - $GREU(G_1,G_2,Q)<{\epsilon }_2$
  个人推荐优化问题同理，约束条件为IRU和GREU。

• Ranking score：对top-k推荐列表中的项目按优化推荐得分和公平性得分降序排列，定义为$${\mathcal{R}}_{rank}(\widehat{Q_i})=\beta \gamma f_i(\widehat{Q_i})+(1-\beta ){\mathcal{R}}_{rec}(\widehat{Q_i})$$其中，β ∈ [0，1]是排序公平性得分的加权因子。与上面的λ相似，添加一个因子γ实现缩放效果.

三、实验

3.1 数据集

本文选用亚马逊数据集中的CDs and Vinyl, Clothing, Cell Phones, Beauty四个子数据集，每个子数据集构成一个知识图，所以都说一个独立的基准。由于较短路径对用户来说更为可靠，所以只考虑长度不超过3的用户-项目路径。

3.2 实验设置

选用三个现有技术水平的知识图可解释推荐系统的模型作为实验基线，分别为HeteroEmbed 、PGPR
、KGAT.
实验设置95%的非活跃用户和5%的活跃用户，令α=0.75，β=0.5.

3.3实验结果

本文再NDCG和F1分数以及活跃和非活跃用户之间的GRU方面展示了本文提出的公平感知算法与当时最先进的知识图可解释模型上的推荐性能和公平性差异。

由实验结果得知，本文的方法虽然牺牲了一定活跃用户的推荐性能，但不仅提升了非活跃用户的推荐性能，还减少了与活跃用户的公平差异。

3.4 案例学习

选取美容数据集中某非活跃用户示例，实验对比结果如下图所示

原始PGPR方法由连接到预测项目的“mention”路径填充，最终top-k列表中只有4个项目。加入本文的公平感知算法之后，填充了更多样的路径，并最终预测了用户愿意购买的6个正确项目。

存在的问题

标黄部分是我在阅读过程中没有理解的地方，欢迎大家在评论区与我讨论。

1. 生成的可解释路径中路径模型π的权重$w_{\pi }$的计算公式是怎么来的？

论文代码

论文代码

论文原文

https://doi.org/10.1145/3397271.3401051

本文为原创笔记，转载需标明。