Semi-decentralized Federated Ego Graph Learning for Recommendation

论文概况

本文是2023年WWW的一篇联邦推荐论文，提出了一个半去中心化的联合自我图学习框架。

Introduction

作者提出问题

• 现有的推荐方法收集所有用户的自我图来组成一个全局图，导致隐私风险。
• 联合推荐系统已被提出来缓解隐私问题，但在客户端设备的可扩展性和资源限制方面面临挑战。
• SemiDFEGL 框架引入了设备到设备的协作，以提高可扩展性并降低通信成本。
• 该框架利用预测的交互项目节点来连接孤立的自我图，从而能够以保护隐私的方式使用高阶协作信息。
• 所提出的框架与模型无关，可以与现有的基于图神经网络的推荐方法和隐私保护技术集成。

Method

A.设备内局部自我图嵌入

该方法涉及利用中央服务器生成虚假的共同物品，以连接用户并创建一个本地协作子图。每个客户端首先通过图神经网络（GNN）的消息传递机制学习本地自我图的嵌入表示。
e u ( k + 1 ) = A g g F u n ( e u ( k ) , { e i ( k ) } i ∈ N ( u ) ) \mathbf{e}_u^{(k+1)}=AggFun(\mathbf{e}_u^{(k)},\{\mathbf{e}_i^{(k)}\}_{i\in\mathcal{N}_{(u)}}) eu(k+1)​=AggFun(eu(k)​,{ei(k)​}i∈N(u)​​)
$$\begin{gathered} {\mathbf{e}}_u^{(k+1)}=\sum _{i\in {\mathcal{N}}_{(u)}}\frac{1}{\sqrt{{\mathcal{N}}_{(u)}}\sqrt{{\mathcal{N}}_{(i)}}}{\mathbf{e}}_i^{(k)} \\ {\mathbf{e}}_i^{(k+1)}=\sum _{u\in {\mathcal{N}}_{(i)}}\frac{1}{\sqrt{{\mathcal{N}}_{(i)}}\sqrt{{\mathcal{N}}_{(u)}}}{\mathbf{e}}_u^{(k)} \end{gathered}$$

在初始轮中，我们将用户嵌入作为自我图嵌入
$${\mathbf{e}}_{ego}={\mathbf{e}}_u$$
下面我们将服务器中的物品嵌入和自我图嵌入进行聚类。
$$J_m(P,C)=\sum _{i=1}^{M+N}\sum _{j=1}^C{\left(P_{ij}\right)}^{l}d{\left({\mathbf{x}}_i,{\mathbf{c}}_j\right)}^2$$
$$\begin{gathered} P_{ij}={\left(d\left({\mathbf{x}}_i,{\mathbf{c}}_j\right)\right)}^{2/(1-l)}/\left[\sum _{k=1}^c{\left(d\left({\mathbf{x}}_i,{\mathbf{c}}_k\right)\right)}^{2/(1-l)}\right] \\ {\mathbf{c}}_j=\left[\sum _{i=1}^{M+N}{P}_{ij}^l{\mathbf{x}}_i\right]/\left[\sum _{i=1}^{M+N}{P}_{ij}^l\right] \end{gathered}$$
c是群的中心，d(·)为距离函数。该操作将自我图和物品进行分类。
之后，对于每个用户的成员关系，我们选择具有最大值的元素，以确保每个用户/客户机只属于一个组。对于每个项目的隶属关系，我们选择前k个最大的元素，以便同一项目可以属于多个组。
因此，分配给每个组的项目称为预测交互项目节点(也称为假公共项目)，并用于连接到组内的每个用户，以形成高阶局部子图。

B.设备到设备协作

设备与设备之间进行图级别的信息传播。
首先，在局部进行用户和物品的嵌入计算。
$${\mathbf{e}}_u=\sum _{k=0}^K{\alpha }_k{\mathbf{e}}_u^{(k)};{\mathbf{e}}_i=\sum _{k=0}^K{\alpha }_k{\mathbf{e}}_i^{(k)}$$
随后，利用假邻接物品进行图级别的信息传播。

C.设备到服务器协作

在本地学习节点嵌入后，我们通过从每个组中采样设备并将项目嵌入上传到中央服务器以更新全局项目嵌入表来执行设备到服务器的协作。
为了保护用户的交互数据，每个客户端采样了一些它没有交互的项目，并随机生成它们的嵌入e，具有与实际交互项目嵌入e相同的均值和方差。
此外，由于嵌入也可能泄露用户隐私，我们对上传的嵌入进行基于l1范数的阈值裁剪。
$${\hat{\mathbf{e}}}_i=\mathrm{clip}({\hat{\mathbf{e}}}_i,\delta )+\mathrm{Laplace}(0,\lambda )$$

D.模型预测和训练

在中央服务器上，通过计算用户上传自我图嵌入和每个条目嵌入的排名分数，生成模型预测。
$$y_{ui}={\mathbf{e}}_{ego}^T{\mathbf{e}}_i$$
$$\mathcal{L}=-\sum _{i\in N_u}\sum _{j\notin N_u}\ln \sigma \left(y_{ui}-y_{uj}\right)+\lambda {\Vert \mathbf{e}\Vert }^2$$

E.结果

总结

本文介绍了一种新颖的联合推荐系统方法，可解决隐私问题和可扩展性问题，为设备上的推荐提供了一种有前途的解决方案。