论文阅读《FEDERATED COLLABORATIVE FILTERING FOR PRIVACY-PRESERVING PERSONALIZED RECOMMENDATION SYSTEM》

PRIVACY-PRESERVING PERSONALIZED RECOMMENDATION
SYSTEM
》阅读)

论文概况

本文是2019年华为的一篇联邦推荐论文，使用联邦学习来保护客户端数据隐私，是联邦推荐奠基性文章。

Introduction

作者提出问题

• 集中式存储和训练用户数据侵犯用户隐私

对于上述问题，作者提出了FCF模型
(1) 制定了第一个联邦协作过滤方法
(2) 证明了所提出的联邦方法在个性化推荐中的经典机器学习应用中的适用性
(3) 证明了协作过滤可以在不损失准确性的情况下进行联邦

Method

A.协同过滤

用户嵌入矩阵和物品嵌入矩阵是 $\mathbf{X}\in {\mathcal{R}}_{}^{K\times N}\mathbf{Y}\in {\dot{\mathcal{R}}}^{K\times M}$，则用户对物品的评分是
$${\hat{r}}_{ui}={\mathbf{x}}_u^T{\mathbf{y}}_i.$$
同时，作者认为用户对一个物品打分是0可能是因为用户不喜欢或者用户根本不知道这个物品。为了表达这种不确定性，作者设计了一个置信参数
$$c_{ui}=1+\alpha r_{ui}$$
用户与物品的交互为：
$$p_{ui}=\{\begin{array}{ll}1& r_{ui}>0,\\ 0& r_{ui}=0\end{array}$$
普通的协同过滤目标函数为：
$$J=\sum _u\sum _j{c}_{ui}(p_{ui}-{\mathbf{x}}_u^T{\mathbf{y}}_i{)}^2+\lambda (\sum _u\Vert {\mathbf{x}}_u{\Vert }^2+\sum _i\Vert {\mathbf{y}}_i{\Vert }^2)$$
$$\frac{\partial J}{\partial {\mathbf{y}}_i}=-2\sum _u[c_{ui}(p_{ui}-{\mathbf{x}}_u^T{\mathbf{y}}_i)]{\mathbf{x}}_u+2\lambda {\mathbf{y}}_i,$$
$$\frac{\partial J}{\partial {\mathbf{x}}_u}=-2\sum _i[c_{ui}(p_{uj}-{\mathbf{x}}_u^T{\mathbf{y}}_i)]{\mathbf{y}}_i+2\lambda {\mathbf{x}}_u.$$

B.联邦协同过滤

用户嵌入更新：服务器直接将全局物品嵌入发送给客户端，客户端以此更新用户向量

物品嵌入更新：对于每个客户端，利用自己的用户嵌入更新物品嵌入，物品嵌入更新如下：
$${\mathbf{y}}_i={\mathbf{y}}_i-\gamma \frac{\partial J}{\partial {\mathbf{y}}_i},$$
各个客户端将物品梯度上传到服务器，实现全局物品嵌入更新
$$f(u,i)=\left[\begin{array}{c}{c}_{ui}(p_{ui}-{\mathbf{x}}_u^T{\mathbf{y}}_i)\end{array}\right]{\mathbf{x}}_u,$$
$$\frac{\partial J}{\partial {\mathbf{y}}_i}=-2\sum _{u}f(u,i)+2\lambda {\mathbf{y}}_i.$$

此外，作者也分析了adam更新方法：
$$\begin{array}{rl}m& ={\beta }_{1}m+(1-{\beta }_1)\frac{\partial J}{\partial {\mathbf{y}}_i}\\ & \\ v& ={\beta }_{2}v+(1-{\beta }_2)(\frac{\partial J}{\partial {\mathbf{y}}_i}{)}^2\end{array}$$

$$\hat{m}=\frac{m}{1-{\beta }_1},$$
$$\hat{v}=\frac{v}{1-{\beta }_2}.$$
$${\mathbf{y}}_i={\mathbf{y}}_i-\frac{\gamma }{\sqrt{\hat{v}}+ϵ}\hat{m}$$

C.结果

总结

FCF是第一个将推荐与联邦结合的模型，模型整体架构简单，可行性强，之后的联邦推荐模型都是在其基础上进行改进或攻防。