论文阅读《No Prejudice! Fair Federated Graph Neural Networks for Personalized Recommendation》

论文概况

本文是2024 AAAI的一篇联邦推荐论文，提出了一个公平性、隐私性、个性化兼顾的联邦推荐框架。

Introduction

• 我们引入了具有隐私保护的归纳图扩展算法，该算法可以最大限度地减少通信开销，同时有效地从分布式用户数据中捕获高阶交互
• 为了加强隐私保护，我们合并了一个额外的LDP模块用于模型更新以及保护组统计数据的隐私

Method

A.整体架构

首先，每个用户使用归纳私有图扩展算法扩展局部子图，以包含高阶交互。通过匹配加密项和分布匿名用户嵌入，扩展图包括每个用户的邻居与协同交互的项。对于每一个与m个项目交互的用户界面，以及与r个有共同交互项目的邻居，用户嵌入是$z_i^u,$物品嵌入是$\left[z_{i,1}^t,z_{i,2}^t,\cdots z_{i,m}^t\right]$，邻居嵌入是$\left[\begin{array}{c}{z}_{i,1}^u,z_{i,2}^u,\cdots z_{i,r}^u\end{array}\right]$。在图神经网络处理后，我们得到了$h_i^u,\left[h_{i,1}^t,h_{i,2}^t,\cdots h_{i,m}^t\right]\mathrm{and}\left[h_{i,1}^u,h_{i,2}^u,\cdots h_{i,r}^u\right]$。
相应的损失是
$${\mathcal{L}}_{util}^u=\frac{1}{m}\sum _{j=1}^m|{\hat{y}}_{i,j}-y_{i,j}{|}^2$$
在该文章中，我们将公平性转化成损失加入到整体损失中
$$\mathcal{L}={\mathcal{L}}_{util}+\beta {\mathcal{L}}_{fair}$$
其中，公平性损失的计算如下
$${\mathcal{L}}_{fair}(\mathcal{M},S_0,S_1)={\left|\frac{1}{|S_0|}\sum _{u\in S_0}\mathcal{M}(u)-\frac{1}{|S_1|}\sum _{u\in S_1}\mathcal{M}(u)\right|}^{\alpha }$$
为了整体方案的可行性，我们定义${\mathcal{M}}_u=-{\mathcal{L}}_{util}^u$。因此，损失的梯度为
$$\nabla {\Theta }_u=\frac{\partial }{\partial {\Theta }_u}{\mathcal{L}}_{util}^u+\beta \frac{\partial }{\partial {\Theta }_u}{\mathcal{L}}_{fair}$$
其中，公平性梯度为
$$\frac{\partial }{\partial {\Theta }_u}{\mathcal{L}}_{fair}=-R{\left|P-Q\right|}^{\alpha -1}\frac{\partial }{\partial {\Theta }_u}{\mathcal{L}}_{util}^u$$
因此，整体梯度为
$$\nabla {\Theta }_u=\left(1-\beta R{\left|P-Q\right|}^{\alpha -1}\right)\frac{\partial }{\partial {\Theta }_u}{\mathcal{L}}_{util}^u=L\frac{\partial }{\partial {\Theta }_u}{\mathcal{L}}_{util}^u$$

B.隐私保护

• 安全的用户-项目本地图扩展：每个用户使用公钥对项目进行加密，并将加密的id上传到服务器。匹配加密项后，服务器将匿名用户嵌入分发给每个用户，以扩展其本地子图。
• 隐私保护模型更新：我们使用标准的LDP技术来克服用户-项目交互历史的隐私泄露
• 安全群统计信息聚合：为了更新全局模型，服务器需要组统计信息P和Q，即用户是属于S0还是S1的信息。在FL中，上传用户的敏感属性信息侵犯了用户的隐私。我们使用LDP以安全的方式聚合组统计信息。
  $$\begin{gathered} P_{per}^u\leftarrow 1(u\in S_0){\mathcal{M}}_u+{ϵ}_{1,u},P_{add}^u\leftarrow 1(u\in S_0)+{ϵ}_{3,u} \\ {Q}_{per}^u\leftarrow 1(u\in S_1){\mathcal{M}}_u+{ϵ}_{2,u},Q_{add}^u\leftarrow 1(u\in S_1)+{ϵ}_{4,u} \end{gathered}$$
  整体算法流程如下：
  

C.结果

总结

本文介绍了一种公平性联邦推荐系统框架，解决隐私与公平性问题，可对比的框架比较少。