论文阅读：Fast-adapting and Privacy-preserving Federated Recommender System

论文名字	Fast-adapting and Privacy-preserving Federated Recommender System
来源	未发表
年份	2021.4.9
作者	Qinyong Wang, Hongzhi Yin, T ong Chen, Junliang Yu, Alexander Zhou, Xiangliang Zhang
核心点	提出一种在联邦学习框架下的推荐系统，并使用差分隐私来做隐私保护。
阅读日期	2021.5.16
影响因子
页数	15
引用数
引用
内容总结
文章主要解决的问题及解决方案： 问题：在推荐系统中，使用传统的集中式机器学习训练不可避免地存在用户数据泄漏问题。 解决方法：使用联邦学习框架，使得用户不用上传原始数据；使用差分隐私防护联邦学习中恶意参与者；使用元学习解决数据异构问题。   文章相比之前的工作创新之处： 1、联邦学习中数据异构问题 解决方法：meta learning 元学习 2、联邦学习中恶意参与者问题（只针对进行原始数据反推的恶意参与者） 解决方法：差分隐私   文章的主要工作： 1、揭示使用联邦学习的推荐系统中，存在数据异构问题带来的影响：①与其他非活跃用户相比，频繁用户与item的交互记录要多得多。所以，直接最小化所有用户的平均损失将主要有利于活跃用户的推荐性能，而不活跃用户的偏好很难估计。②现有的基于FL的推荐范例仅被设计成让所有设备贡献给一个全局模型，因此最终模型仅在平均推荐准确度上是好的。因为它们没有考虑到用户之间的数据分布的异构性，所以不能保证全局模型是为每个用户完全定制的，这阻碍了个性化推荐的交付。 并提出解决这个问题的方法，即使用元学习。 同时，文中指出传统元学习的模型MAML的几个缺点：①其需要求二阶导，这需要大量计算量②其需要将本地数据划分为支持集和查询集用于两阶段训练，这对于交互记录数量非常有限的用户来说是不切实际的。 因此，在本文中，元学习只使用近似的一阶梯度(即REPTILE[33])，从而减少计算负担，同时保持相当的性能。此外，在文中的方法中不需要数据分割，这使得该模型更适合活动和非活动用户，并且更容易在FL环境中运行。此外，我们在局部学习目标函数中添加了一个近似项，有效地限制了单个客户端 2、引入一个可学习的梯度裁切边界的DP算法，以在模型优化过程中自适应地调整每个用户的重要性。动态调整DP，主要是相邻batch灵敏度S的动态调整： 其中，是batch中样本的分数，其值最多为先前界限S，是学习率，对于系数，最优S是用户更新的范数(norm)的第γ个分位数。 详细要看文章的2.3.2和2.3.3 3、DP的隐私预算用RDP算。 4、性能指标两个：①Hits；②NDCG   文章内容：     实验结果：     附录：     参考文献：