论文《Federated Social Recommendation with Graph Neural Network》阅读

论文概况

今天总结一下最近阅读的关于联邦社会化推荐的论文《Federated Social Recommendation with Graph Neural Network》，论文 由 UIC（伊利诺伊大学芝加哥分校）数据挖掘方向大牛 Philip S. Yu（俞士纶）团队 Zhiwei Liu 等人 和 北航 Hao Peng 等人完成。论文发表在期刊 TIST （ACM Transactions on Intelligent Systems and Technology） 2022 上。论文主要完成一个基于联邦学习框架下的社会化推荐模型 FeSoG。

论文地址： 论文地址

论文整体来说，Writing部分相对比较流畅，easy to read。但是同时文中出现较大比例的typo、语法错误等，对于阅读不太友好。作为本人关于联邦推荐的入门读物，这里总结一下，下面进入具体介绍。

Intro

作者首先总结了联邦社会化推荐（Federated Social Recommender System，FSRS）的主要几个挑战：

• 异构性。social recommendation既包括 U-U 连接，也包括 U-I 连接。
• 个性化。每个用户的兴趣之间呈现非独立同分布，应该单独处理。
• 安全性。联邦推荐场景下应注意保护用户的个人隐私

针对上述挑战，作者提出基于图神经网络的联邦社会化推荐（Federated Social Recommendation with Graph Neural Networks, FeSoG）模型。

Methodology

问题形式化

这里先介绍问题形式化 及 关键定义。
用户集合 U = { u 1 , u 2 , … , u N } \mathcal{U}= \left\{ u_1, u_2, \ldots, u_N\right\} U={u1​,u2​,…,uN​} 及物品集合 T = { t 1 , t 2 , … , t M } \mathcal{T}= \left\{t_1, t_2, \ldots, t_M \right\} T={t1​,t2​,…,tM​}，用户与物品、用户与用户之间形成评分矩阵 $\mathbf{R}\in {\mathbb{R}}^{N\times M}$，用户邻接矩阵 S ∈ { 0 , 1 } N × N \mathbf{S} \in\{0,1\}^{N \times N} S∈{0,1}N×N 。

针对联邦推荐场景，

• 客户端（Client）：每个用户 $n$ 即一个客户端 $c_n$，客户端包含的数据包括 用户对物品的评分 （${\mathbf{R}}_{n\cdot }$）和他与其他用户之间的之间相邻关系（${\mathbf{S}}_{n\cdot }$）。
• 服务器（Center Server）：中心用户不包含用户的邻接数据和用户的交互矩阵。中心服务器包含的数据包含每个client上的参数，每个用户、每个物品的embedding。通过 server 和 client 之间每轮的数据更新，根据 client 上传给 server 的梯度数据进行更新， 更新完成之后再将最新的参数都更新给每个客户端。
• 联邦社会化推荐（FSRS）：对于 任意客户端 $c_n$，根据
  当前用户 $n$ 的交互向量 r n = { r n 1 , r n 2 , ⋯   , r n k } \mathbf{r}_{n} = \{{r}_{n1}, {r}_{n2}, \cdots, {r}_{nk}\} rn​={rn1​,rn2​,⋯,rnk​} 及 一阶邻居向量 s n = { s n 1 , s n 2 , ⋯   , s n p } \mathbf{s}_{n} = \{{s}_{n1}, {s}_{n2}, \cdots, {s}_{np}\} sn​={sn1​,sn2​,⋯,snp​} （ n , p ∈ { 1 , 2 , ⋯   , N } n, p \in \{1, 2, \cdots, N\} n,p∈{1,2,⋯,N}， k ∈ { 1 , 2 , ⋯   , M } k \in \{1, 2, \cdots, M\} k∈{1,2,⋯,M}），FSRS 在 不知道每个client 的 raw data 的基础上预测用户的交互数据。

问题形式化：

上述 FSRS 的定义如下所示：
用户 $n$ 的 交互数据 ${\mathcal{T}}^{(n)}=\left\{t_1^{(n)},t_2^{(n)},\dots ,t_k^{(n)}\right\}$，社交邻居 ${\mathcal{U}}^{(n)}=\left\{u_1^{(n)},u_2^{(n)},\dots ,u_p^{(n)}\right\}$，FSRS 预测 mask 掉的物品 $t^{\ast }\in \mathcal{T}\backslash \mathcal{T}(n)$ 的交互分数。

通过对 每个客户 $c_n$ 构建本地的局部异构图 ${\mathcal{G}}_n$（包含U-U 及 U-I），

给出形式化定义：给定每个 客户 $n$ 的局部异构图集合 $\left\{{\mathcal{G}}_n{\mid }_{n=1}^N\right\}$，在不接触 local graph 中raw data 的前提下，FSRS致力于预测 连边 $(u_n,t^{\ast })$ 的值。

FeSoG

本地图设计

这部分就是设计了一个GAT网络，完成异构图上的embedding传播，这部分embedding是根据center server 下载的，本地用户只保存他自己的交互物品 和 好友用户，因此只能传播一阶邻居信息，这里不做赘述，把公式摆在底下。

$$o_{np}=\mathrm{LeakyReLU}\left({\mathbf{a}}^{\top }\left[{\mathbf{W}}_1{\mathbf{e}}_{u_n}\Vert {\mathbf{W}}_1{\mathbf{e}}_{u_p}\right]\right).\text{\hspace{1em}(1)}$$

$${\alpha }_{np}={\mathrm{softmax}}_p\left(o_{np}\right)=\frac{\exp \left(o_{np}\right)}{{\sum }_{i=1}^P\exp \left(o_{ni}\right)}.\text{\hspace{1em}(2)}$$

$$v_{nk}=\mathrm{LeakyReLU}\left({\mathbf{b}}^{\top }\left[{\mathbf{W}}_2{\mathbf{e}}_{u_n}\Vert {\mathbf{W}}_2{\mathbf{e}}_{i_k}\right]\right).\text{\hspace{1em}(3)}$$

$${\beta }_{nk}=\mathrm{softmax}\left(v_{nk}\right)=\frac{\exp \left(v_{ni}\right)}{{\sum }_{i=1}^K\exp \left(v_{ni}\right)}.\text{\hspace{1em}(4)}$$

$${\mathbf{h}}_u^{(n)}=\sum _{p=1}^p{\alpha }_{n\rho }{\mathbf{W}}_h{\mathbf{e}}_{u_p}.\text{\hspace{1em}(5)}$$

$${\mathbf{h}}_t^{(n)}=\sum _{k=1}^K{\beta }_{nk}{\mathbf{W}}_h{\mathbf{e}}_k.\text{\hspace{1em}(6)}$$

${\mathbf{h}}_t^{(n)}$ 是 交互图 embedding， ${\mathbf{h}}_t^{(u)}$ 是 社交图 embedding，通过注意力系数进行加权求和计算，如下所示：

$$\begin{array}{rl}& {\gamma }_u=\frac{\exp \left({\mathrm{c}}^{\top }\left[{\mathbf{h}}_u^{(n)}\Vert v_u\right]\right)}{\exp \left({\mathrm{c}}^{\top }\left[{\mathbf{h}}_u^{(n)}\Vert {\mathbf{v}}_u\right]\right)+\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_t^{(n)}\Vert v_t\right]\right)+\exp \left({\mathrm{c}}^{\top }\left[{\mathbf{h}}_s^{(n)}\Vert {\Vert }_{v_s}\right]\right)},\\ & {\gamma }_t=\frac{\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_t^{(n)}\Vert {\mathbf{v}}_t\right]\right)}{\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_u^{(n)}\Vert {\mathbf{v}}_u\right]\right)+\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_t^{(n)}\Vert v_t\right]\right)+\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_s^{(n)}\Vert {\mathbf{v}}_s\right]\right)},\\ & {\gamma }_s=\frac{\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_s^{(n)}\Vert {\mathbf{v}}_s\right]\right)}{\exp \left(c^{\top }\left[{\mathbf{h}}_u^{(n)}\Vert v_u\right]\right)+\exp \left(c^{\top }\left[{\mathbf{h}}_t^{(n)}\Vert v_t\right]\right)+\exp \left(c^{\top }\left[{\mathbf{h}}_s^{(n)}\Vert {\mathbf{v}}_s\right]\right)}.\end{array}\text{\hspace{1em}(7)}$$
$${\mathbf{e}}_n^{\ast }={\gamma }_s{\mathbf{e}}_{u_n}+{\gamma }_u{\mathbf{h}}_u^{(n)}+{\gamma }_t{\mathbf{h}}_t^{(n)}\text{\hspace{1em}(8)}$$
通过内积计算 交互分数：
$${\hat{\mathbf{R}}}_{nt}={{\mathbf{e}}_n^{\ast }}^{\top }{\mathbf{e}}_t.\text{\hspace{1em}(9)}$$
本地训练损失函数定义如下：
$${\mathcal{L}}_u=\sqrt{\frac{{\sum }_{t\in {\mathcal{T}}^{(u)}}{\left({\mathbf{R}}_{ut}-{\hat{\mathbf{R}}}_{ut}\right)}^2}{\left|{\mathcal{T}}^{(u)}\right|}}\text{\hspace{1em}(10)}$$

上述内容计算完成本地的所有计算过程，embedding 和模型参数通过center server download下来，在本地进行 GAT 计算，并通过 反向传播完成参数更新（如公式(10)所示）。

本地差分隐私

在上述基础上，由于设计到 client 和 server 之间的 梯度上传 和 参数下载，为了防止用户信息泄露（根据FedMF，连续两次上传的梯度被获取后，可以推测出用户的rating信息），在上传过程中加入了本地差分隐私（Local Differential Privacy，LDP）操作。

具体地，就是就梯度数据进行clip操作（范围控制在 $\delta$ 内），同时加入 一定强度范围（$\lambda$）内的 Laplacian Noise。具体如下所示：
$${\tilde{\mathbf{g}}}^{(n)}=\mathrm{clip}\left({\mathbf{g}}^{(n)},\delta \right)+\mathrm{Laplacian}(0,\lambda ).\text{\hspace{1em}(11)}$$

具体操作中，为实现动态噪声，使用如下实现形式：
$${\tilde{\mathbf{g}}}^{(n)}=\mathrm{clip}\left({\mathbf{g}}^{(n)},\delta \right)+\mathrm{Laplacian}\left(0,\lambda \cdot \mathrm{mean}\left({\mathbf{g}}^{(n)}\right)\right),\text{\hspace{1em}(12)}$$
其中， g ( n ) = { g t ( n ) , g m ( n ) , g u ( n ) } = ∂ L u ∂ Θ \mathrm{g}^{(n)} = \{ \mathbf{g}_t^{(n)}, \mathbf{g}_m^{(n)}, \mathbf{g}_u^{(n)} \} = \frac{\partial \mathcal{L}_u} {\partial \Theta} g(n)={gt(n)​,gm(n)​,gu(n)​}=∂Θ∂Lu​​。

Pseudo-Item Labeling

为进一步保护用户隐私（梯度为 0 的 梯度向量对应用户的 未交互 物品），作者加入了 $q$ 个假标签，记作 ${\tilde{\mathcal{T}}}^{(n)}=\left\{{\tilde{t}}_1^{(n)},{\tilde{t}}_2^{(n)},\dots ,{\tilde{t}}_q^{(n)}\right\}$。在预测过程中，通过四舍五入的方式将 sample 出来的 pseudo items 作为标签进行训练，以提高 传输过程中的 安全性。具体如下：
$${\tilde{\mathcal{L}}}_u=\sqrt{\frac{{\sum }_{t\in \mathcal{T}(u)\cup {\tilde{\mathcal{T}}}^{(u)}}{\left({\mathbf{R}}_{ut}-{\hat{\mathbf{R}}}_{ut}\right)}^2}{\left|{\mathcal{T}}^{(u)}\right|}},\text{\hspace{1em}(13)}$$
其中，${\hat{\mathbf{R}}}_{ut}\in \mathbb{R}$ 表示标签值， ${\mathbf{R}}_{ut}\in \mathbb{N}$ 表示 预测值。

模型优化

作者将梯度数据分为三部分，模型梯度${\overline{\mathbf{g}}}_m$，物品 embedding 梯度 ${\overline{\mathbf{g}}}_t$，及用户 embedding 梯度 ${\overline{\mathbf{g}}}_u$，通过对应client 对应rating数量大小 进行 加权求期望的操作完成 中心服务器 平均梯度 的计算，并根据梯度完成模型参数的更新。更新之后将参数下载到 各个 client ，将参数进行更新。具体如下：
$$\begin{array}{rl}& {\overline{\mathbf{g}}}_m=\frac{{\sum }_{n\in \mathcal{N}}\left|{\mathcal{R}}_n\right|\cdot {\tilde{\mathbf{g}}}_m^{(n)}}{{\sum }_{n\in \mathcal{N}}\left|{\mathcal{R}}_n\right|},\\ & {\overline{\mathbf{g}}}_t=\frac{{\sum }_{n\in \mathcal{N}}\left|{\mathcal{R}}_n\right|\cdot {\tilde{\mathbf{g}}}_t^{(n)}}{{\sum }_{n\in \mathcal{N}}\left|{\mathcal{R}}_n^t\right|},\\ & {\overline{\mathbf{g}}}_u=\frac{{\sum }_{n\in \mathcal{N}}\left|{\mathcal{R}}_n\right|\cdot {\tilde{\mathbf{g}}}_u^{(n)}}{{\sum }_{n\in \mathcal{N}}\left|{\mathcal{R}}_n^t\right|},\end{array}\text{\hspace{1em}(14)}$$

模型训练

上述所有过程，作者通过 一个 算法 进行了 整体展示，这对于理解整体流程很有帮助，具体如下：

论文总结

上述内容就是关于 FeSoG 模型的所有内容，模型写作非常流畅。值得推荐！