基于联邦学习的隐私保护推荐系统 （一） Privacy-Preserving Recommendation Model Learning - Federated-Learning

论文来源于：Qi T, Wu F, Wu C, et al. Privacy-preserving news recommendation model learning[J]. arXiv preprint arXiv:2003.09592, 2020.

背景

现有的新闻推荐方法依赖于用户行为数据的集中存储进行模型训练，这将有隐私泄漏的风险。本文提出一种基于联邦学习的新闻推荐模型训练的隐私保护方法，其中用户行为数据本地存储在用户设备中，用户在本地训练模型，然后中心服务器随机选择一些用户的本地梯度上传，进一步聚合更新服务器中的全局模型，然后给用户发送新的模型梯度。由于模型梯度可能包含一些隐式的私有信息，本文还在上传前对模型梯度应用本地化差异隐私（LDP）技术，以获得更好隐私保护。

内容

新闻推荐模型

本文中奖新闻推荐模型分为两个核心子模型：学习新闻表示的新闻模型 和 学习用户表示的用户模型。

• 新闻模型 旨在 学习新闻表示来建模新闻内容
• 用户模型 用于 学习用户表示来建模他们的个人兴趣

新闻模型

本文从新闻标题中学习新闻表示，新闻模型包含四层：

• 第一层：单词嵌入，将新闻标题中的单词序列转换为语义单词嵌入向量的序列，即将离散高维数据转换为低维连续数据。
• 第二层：CNN网络，捕捉局部语境，学习单词表征。
• 第三层：多头自注意力网络，通过模拟不同词之间的长距离关联性来学习上下文的词表征
• 第四层：注意力网络，从多头自注意力网络输出中选择信息词，构建新闻表示向量t

用户模型

本文从用户点击的新闻文章中学习用户表示，用户模型包含两层模型：

• 第一层模型，将长短期兴趣分开学习
  • 对于长期用户兴趣，多头自注意力网络和注意力池网络的组合，从所有的历史行为中学习。
  • 对于短期用户兴趣，将GRU网络应用于用户最近的行为。
• 第二层模型，将长短期兴趣输入到注意力网络，生成用户表示向量u

GRU（Gate Recurrent Unit）是循环神经网络（RNN）的一种。和LSTM（Long-Short Term Memory）一样，为了解决长期记忆和反向传播中的梯度等问题而提出。
GRU与LSTM效果相当，但是计算力要求更低

---

联邦学习

本文使用本地化差分隐私（LDP）技术来扰动模型

模型扰动机制

$$g_u=\frac{\partial \zeta }{\partial \Theta }$$

$$M(g_u)=clip(g_u,\delta )+n$$

n    ⟺    L a ( 0 , λ ) n