基于联邦学习的隐私保护推荐系统 (一) Privacy-Preserving Recommendation Model Learning - Federated-Learning

论文来源于:Qi T, Wu F, Wu C, et al. Privacy-preserving news recommendation model learning[J]. arXiv preprint arXiv:2003.09592, 2020.

背景

现有的新闻推荐方法依赖于用户行为数据的集中存储进行模型训练,这将有隐私泄漏的风险。本文提出一种基于联邦学习的新闻推荐模型训练的隐私保护方法,其中用户行为数据本地存储在用户设备中,用户在本地训练模型,然后中心服务器随机选择一些用户的本地梯度上传,进一步聚合更新服务器中的全局模型,然后给用户发送新的模型梯度。由于模型梯度可能包含一些隐式的私有信息,本文还在上传前对模型梯度应用本地化差异隐私(LDP)技术,以获得更好隐私保护。

内容

新闻推荐模型

本文中奖新闻推荐模型分为两个核心子模型:学习新闻表示的新闻模型 和 学习用户表示的用户模型。

  • 新闻模型 旨在 学习新闻表示来建模新闻内容
  • 用户模型 用于 学习用户表示来建模他们的个人兴趣
新闻模型

本文从新闻标题中学习新闻表示,新闻模型包含四层:

  • 第一层:单词嵌入,将新闻标题中的单词序列转换为语义单词嵌入向量的序列,即将离散高维数据转换为低维连续数据。
  • 第二层:CNN网络,捕捉局部语境,学习单词表征。
  • 第三层:多头自注意力网络,通过模拟不同词之间的长距离关联性来学习上下文的词表征
  • 第四层:注意力网络,从多头自注意力网络输出中选择信息词,构建新闻表示向量t
用户模型

本文从用户点击的新闻文章中学习用户表示,用户模型包含两层模型:

  • 第一层模型,将长短期兴趣分开学习
    • 对于长期用户兴趣,多头自注意力网络和注意力池网络的组合,从所有的历史行为中学习。
    • 对于短期用户兴趣,将GRU网络应用于用户最近的行为。
  • 第二层模型,将长短期兴趣输入到注意力网络,生成用户表示向量u
GRU(Gate Recurrent Unit)是循环神经网络(RNN)的一种。和LSTM(Long-Short Term Memory)一样,为了解决长期记忆和反向传播中的梯度等问题而提出。
GRU与LSTM效果相当,但是计算力要求更低

联邦学习

本文使用本地化差分隐私(LDP)技术来扰动模型

模型扰动机制

g u = ∂ ζ ∂ Θ g_u = \frac{\partial\zeta}{\partial\Theta} gu=Θζ

M ( g u ) = c l i p ( g u , δ ) + n M(g_u) = clip(g_u,\delta) + n M(gu)=clip(gu,δ)+n

n    ⟺    L a ( 0 , λ ) n

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Privacy-preserving machine learning is becoming increasingly important in today's world where data privacy is a major concern. Federated learning and secure aggregation are two techniques that can be used to achieve privacy-preserving machine learning. Federated learning is a technique where the machine learning model is trained on data that is distributed across multiple devices or servers. In this technique, the model is sent to the devices or servers, and the devices or servers perform the training locally on their own data. The trained model updates are then sent back to a central server, where they are aggregated to create a new version of the model. The key advantage of federated learning is that the data remains on the devices or servers, which helps to protect the privacy of the data. Secure aggregation is a technique that can be used to protect the privacy of the model updates that are sent to the central server. In this technique, the updates are encrypted before they are sent to the central server. The central server then performs the aggregation operation on the encrypted updates, and the result is sent back to the devices or servers. The devices or servers can then decrypt the result to obtain the updated model. By combining federated learning and secure aggregation, it is possible to achieve privacy-preserving machine learning. This approach allows for the training of machine learning models on sensitive data while protecting the privacy of the data and the model updates.

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值