​ICLR 2024 | UTS提出全新联邦推荐算法：从全面个性化过渡到加性个性化

©PaperWeekly 原创 · 作者 | 李志伟

单位 | 悉尼科技大学博士生

研究方向 | 联邦推荐算法

这篇论文提出了一种新的联邦推荐算法 FedRAP。FedRAP 在联邦学习框架中同时针对用户信息和项目信息实施双边个性化策略，以此来增强推荐系统在隐私保护和个性化推荐方面的表现。它通过逐步提高正则化权重，平滑地从全面个性化过渡到加性个性化。同时，FedRAP 还引入了对全局项目嵌入进行稀疏化处理的策略，有效降低了通信开销。

论文标题：

Federated Recommendation with Additive Personalization

论文链接：

https://arxiv.org/abs/2301.09109

代码链接：

https://github.com/mtics/FedRAP

随着对隐私保护需求的增加，联邦学习环境下推荐系统的开发成为了构建下一代互联网服务架构的新趋势。但是，现有方法多是基于分布式推荐框架并附加隐私保护机制演化而来，这使得它们在联邦推荐系统中很难充分发挥个性化的潜力。

为了解决这一问题，本文提出了一种创新方法——联邦推荐与加性个性化（FedRAP），该方法通过分析用户偏好和其对项目的个人理解来优化推荐效果。FedRAP 的核心在于加性个性化技术，它通过将个性化的项目嵌入与所有用户共同形成的稀疏全局项目嵌入相结合。

此外，为了缓解不同客户端间项目嵌入的差异性可能导致的性能问题，FedRAP 采用了逐步增加正则化权重的策略，并通过全局项目嵌入的稀疏化处理来减少通信负担。在四个现实世界的推荐数据集上进行的实验验证了 FedRAP 方法的有效性。

背景和动机

近年来，推荐系统已经成为一个重要的工具，它能够向用户推荐他们可能感兴趣的新内容，并且显著地影响了我们的日常生活。这些系统一般都依赖中心服务器来收集并整合用户的数据、活动记录和偏好信息，以此来训练出能够做出精准推荐的模型。

然而，用户数据往往含有敏感的隐私信息，一旦上传至服务器就可能面临严重的隐私和安全风险。近期，一些隐私保护法规（例如 GDPR）更是明确要求用户数据应当存储于本地设备，而非上传至云端服务器。

针对上述问题，联邦学习（FL）提供了一个潜在的解决方案。它通过在客户端进行本地模型训练，并将训练后的本地模型在服务器端进行聚合，实现了数据的本地化和分布式全局模型训练。FL 已在多个应用场景中取得显著成效，比如谷歌键盘的查询建议功能。然而，客户端之间的数据异质性可能会大幅延缓 FL 的收敛速度，导致客户端漂移或者个别客户端的全局模型性能下降。