论文《Federated Recommendation with Additive Personalization》阅读

今天带来的是 ICLR 2024 关于联邦推荐的论文《Federated Recommendation with Additive Personalization》，论文由 悉尼科技大学 Zhiwei Li 等人 及 马里兰大学帕克分校（UMD）Tianyi Zhou 完成。论文发表在 ICLR 2024，主要聚焦于 联邦推荐场景下 （1）不同用户与 server 上传下载的各自的 embedding gradient 比较片面；（2）较大的数据量传输影响 传输效率 这几个问题，提出了模型 FedRAP （Federated Recommendation with Additive Personalization）。

论文地址：https://openreview.net/pdf?id=xkXdE81mOK
代码仓库：https://github.com/mtics/FedRAP

论文概况

FedRAP实际上就是把每个user 对应的 client 中关于 当前用户的 user embedding 向量与 item embedding matrix 之间的运算进行拆分，具体来说，是将 item embedding matrix进行拆分，分为 $\mathbf{C}$ 和 ${\mathbf{D}}^i$。

针对挑战 C1：大部分 FRS 都是将所有的item embedding 在全局进行共享，忽略了 用户 对 不同物品的 preference。作者使用 $\mathbf{C}$ 和 ${\mathbf{D}}^i$ 的分离对这一问题进行解决。
针对挑战 C2：联邦推荐需要占用较大的通信开销，特别是对于物品数量较多的场景。作者加了一个正则化项进行约束。
此外，作者在一个全局向量 $\mathbf{C}$ 的添加过程中，加入了一个渐进式增加的权重函数，用于提高学习精确率。

Preliminaries

• rating 矩阵 R = [ r 1 , r 2 , ⋯   , r n ] ⊤ ∈ { 0 , 1 } n × m \mathbf{R} = [\mathbf{r}_1, \mathbf{r}_2, \cdots, \mathbf{r}_n ]^{\top} \in \{0,1\}^{n\times m} R=[r1​,r2​,⋯,rn​]⊤∈{ 0,1}n×m， $n$表示用户数量，$m$表示物品数量。
• 用户表示 $\mathbf{U}\in {\mathbb{R}}^{n\times k}$，每个客户端 $i$ 只保存自己的那一份 ${\mathbf{u}}_i$。
• 作者对于物品表示使用了两份矩阵，local item embedding ${\mathbf{D}}^{(i)}\in {\mathbb{R}}^{m\times k}$，这部分用户只保存在自己的client端，不进行传输，用于保存用户的个性化信息。
• 另一份用于保存global item 信息的 embedding 是 $\mathbf{C}\in {\mathbb{R}}^{m\times k}$。在整个FedRAP中，用于传播的只有 $\mathbf{C}$ 这部分而已。
• 为标记每个用户的 interaction records，使用 Ω = { ( i , j ) : the  i -th user has rated the  j -th item