论文阅读《 FEDERATED RECOMMENDATION WITH ADDITIVE PERSONALIZATION》

最新推荐文章于 2025-05-16 22:27:38 发布
最新推荐文章于 2025-05-16 22:27:38 发布
阅读量589 收藏 7
点赞数 4
文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzj1212123/article/details/145908343
版权

论文概况

本文是2024 ICLR的一篇联邦推荐论文，提出了 FedRAP，旨在解决联邦学习（FL）环境中的推荐系统挑战。其主要目标是提高推荐系统的个性化程度，同时减少通信成本，这在联邦学习系统中通常是一个重要问题。FedRAP 通过学习一个全局视角的物品嵌入（通过FL）和每个用户本地的个性化视角来实现这一目标。

Introduction

  • 尽管现有的联邦推荐系统在全球共享物品嵌入并将用户嵌入保持本地，但这种方法忽略了用户对相同物品的不同感知。FedRAP 通过引入加性个性化方法，将全球和用户特定的物品嵌入结合起来，从而提高个性化推荐并减少通信开销。

Method

在这里插入图片描述

A. 问题定义

假设我们有一个评分矩阵 R，其中的每个元素表示用户对物品的评分。该矩阵的维度为 n × m，其中 n 表示用户数量，m 表示物品数量。每个用户对物品的评分为 r_ij。在每个客户端 i 上，我们有一个本地的物品嵌入矩阵 D(i)，和一个全局共享的物品嵌入矩阵 C。

目标是通过加性个性化来构建每个用户的推荐系统。具体而言，我们希望结合每个用户的本地物品嵌入 D(i) 和全局物品嵌入 C 来生成个性化的物品推荐。

B. 目标函数

预测评分：我们使用逻辑回归模型来预测每个用户对物品的评分，公式如下：
在这里插入图片描述最小化重建误差：为了最小化真实评分与预测评分之间的差异，我们使用交叉熵损失函数进行优化，具体如下：
在这里插入图片描述
正则化项：为了确保全局物品嵌入 C 和本地物品嵌入 D(i) 之间的差异，使得它们是互补的，我们使用以下正则化项
在这里插入图片描述
加性个性化优化：为了减少由于在训练初期使用加性个性化带来的性能下降，我们引入了一个逐渐增加的正则化策略。具体地，我们引入了两个正则化项来分别控制 C 的稀疏性和 D(i) 和 C 的差异，优化目标函数如下：
在这里插入图片描述

C.结果

在这里插入图片描述

总结

方法简单，思路清晰，证明可靠

wzj1212123
关注
论文《Federated Recommendation with Additive Personalization》阅读
xingzhe123456789000的博客
06-26 1186
今天带来的是 ICLR 2024 关于联邦推荐的论文《Federated Recommendation with Additive Personalization》，论文由 悉尼科技大学 Zhiwei Li 等人 及 马里兰大学帕克分校（UMD）Tianyi Zhou 完成。论文发表在 ICLR 2024，主要聚焦于 联邦推荐场景下 （1）不同用户与 server 上传下载的各自的 embedding gradient 比较片面；（2）较大的数据量传输影响 传输效率 这几个问题，提出了模型FedRAP。
​ICLR 2024 | UTS提出全新联邦推荐算法：从全面个性化过渡到加性个性化
Paper weekly
02-28 1719
©PaperWeekly 原创 ·作者 |李志伟单位 |悉尼科技大学博士生研究方向 |联邦推荐算法这篇论文提出了一种新的联邦推荐算法 FedRAP。FedRAP 在联邦学习框架中同时针对用户信息和项目信息实施双边个性化策略，以此来增强推荐系统在隐私保护和个性化推荐方面的表现。它通过逐步提高正则化权重，平滑地从全面个性化过渡到加性个性化。同时，FedRAP 还引入了对全局项目嵌入进行稀疏化处...
联邦推荐系统与基础模型：迈向个性化推荐的未来
步子哥的博客
06-14 703
然而，在大多数情况下，每个客户端通常只包含一个用户访问的项目的相关数据，与整个项目集相比，数据量非常小，造成了严重的数据稀疏性问题。此外，FM 能够捕获复杂的用户偏好和行为，并通过微调快速适应特定客户数据，从而提高本地模型的性能。将 FRS 与 FM 相结合，能够在保护用户隐私的同时，提供更准确的个性化推荐服务，为个性化推荐的未来开辟了新的方向。将 FM 整合到 FRS 中，可以利用 FM 的强大知识库和自适应能力来解决 FRS 面临的数据稀疏性和异质性问题，并进一步提升用户体验。
联邦推荐系统相关论文创新点总结
hehehehejiejie的博客
01-21 2923
联邦推荐系统相关论文创新
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(二)
热门推荐
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
论文《Federated Social Recommendation with Graph Neural Network》阅读
xingzhe123456789000的博客
06-13 889
今天总结一下最近阅读的关于联邦社会化推荐的论文《Federated Social Recommendation with Graph Neural Network》，论文 由 UIC（伊利诺伊大学芝加哥分校）数据挖掘方向大牛 Philip S. Yu（俞士纶）团队 Zhiwei Liu 等人 和 北航 Hao Peng 等人完成。论文发表在期刊 TIST （ACM Transactions on Intelligent Systems and Technology） 2022 上。
论文学习笔记：Towards Personalized Privacy: User-Governed Data Contribution for Federated Recommendation
m0_57180439的博客
11-22 1101
在联邦推荐系统（FedRecs）中，标准方法确实假设所有用户都遵循统一的隐私预算，即用户不上传任何原始数据，仅上传模型参数或梯度到服务器。这种方式优先保护用户隐私，确保敏感数据保留在本地。然而，这种统一的隐私预算忽略了用户在隐私偏好上的多样性——并不是所有用户都具有严格的隐私需求，有些用户愿意分享部分数据以获得更准确的推荐结果.本文探索了一种用户管理数据贡献的联合推荐架构，在该架构中，用户可以自由控制是否向服务器共享数据以及共享数据的比例。
论文学习笔记：Privacy-preserving Cross-domain Recommendation with Federated Graph Learning
m0_57180439的博客
11-18 1186
然而，正如之前的研究]所指出的那样，这些用户内嵌信息已经编码了用户行为的隐私信息，出于对隐私的考虑，不能直接共享到域外。在本文中，我们提出了一种新颖的，据我们所知，用于隐私保护跨域推荐的联邦图学习方法( PPCDR )，以基于分布式多域数据捕获用户的偏好，并在不泄露隐私的情况下提高所有域的推荐性能。具体来说，对于每个领域，我们通过增加连接全局和本地用户节点(对应全局和本地用户偏好)的链接来构建特定领域的用户-项目交互图，如图1所示，然后设计了一种基于GNNs的联合图学习方法。
【论文阅读/源码解析】Tackling Data Heterogeneity in Federated Learning with Class Prototypes
zMelodyXblue的博客
01-08 768
在联邦学习（FL）环境中，客户端数据异质性是一个广泛公认的挑战。为应对这一挑战，个性化联邦学习（PFL）作为一种框架应运而生，旨在为客户端任务定制本地模型。在PFL中，一个常见的策略是共同开发本地和全局模型——全局模型（用于泛化）指导本地模型，而本地模型（用于个性化）则被聚合以更新全局模型。一个关键观察是，如果我们能够提升本地模型的泛化能力，那么也能提升全局模型的泛化能力，从而构建更好的个性化模型。在本研究中，我们考虑了分类任务中一种被忽视的数据异质性类型——类别不平衡。
[论文阅读]ControlNET: A Firewall for RAG-based LLM System
m0_52911108的博客
05-13 1092
RAG存在数据泄露风险和数据投毒风险。相关研究探索了提示注入和投毒攻击，但是在控制出入查询流以减轻威胁方面存在不足文章提出一种ai防火墙CONTROLNET，保护基于RAG的LLM系统免受这些漏洞的侵害利用激活转移现象检查恶意查询，通过语义差异来减轻影响从而控制查询流数据泄露风险源于恶意客户端进行侦察以提取系统提示或利用 RAG 系统环境。
多模态论文笔记——NaViT
haopinglianlian的博客
05-14 1041
本文详细解读多模态论文NaViT（Native Resolution ViT），将来自不同图像的多个patches打包成一个单一序列——称为Patch n’ Pack——从而实现可变分辨率并保持长宽比。在训练过程中**采用序列封装的方式**处理**任意分辨率和纵横比**的输入，除了具备灵活性的模型应用外，还展示了通过大规模监督和contrastive image-text pretraining来提高训练效率。
分割一切(SAM) 论文阅读：Segment Anything
weixin_50946965的博客
05-13 828
我们介绍了任何片段（SA）项目：一个新的任务，模型和数据集的图像分割。在数据收集循环中使用我们的高效模型，我们建立了迄今为止（到目前为止）最大的分割数据集，在1100万张许可和尊重隐私的图像上拥有超过10亿个掩模。该模型被设计和训练为提示，因此它可以将零拍摄转移到新的图像分布和任务。我们评估了它在许多任务中的能力，发现它的零射击性能令人印象深刻-通常与之前的完全监督结果相竞争甚至优于。
Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise论文阅读
qq_45987837的博客
05-13 481
本文提出了一种名为“冷扩散”的新型生成模型，挑战了传统扩散模型依赖高斯噪声的固有观念。研究发现，扩散模型的生成能力并不局限于噪声的添加与去除，而是可以通过完全确定性的降质操作（如模糊、遮蔽等）实现。通过训练恢复网络来反转这些降质操作，冷扩散模型能够在无需任何随机性的情况下生成高质量图像。这一发现不仅突破了传统扩散模型的理论框架，还为更通用的图像生成模型提供了新的研究方向。相关代码已开源，供进一步探索和应用。
【论文笔记】ViT-CoMer
Word_And_Me_的博客
05-14 1014
例如，在 1 倍（3 倍）训练计划下，ViT-CoMer-S 相比于普通 ViT-S，边界框平均精度均值（box mAP）显著提升了 + 5.6%（+4.8%），掩码平均精度均值（mask mAP）提升了 + 3.4%（+3.1%）。经过多模态预训练的 ViT-CoMer-B 与在 ImageNet-1K 上预训练的模型相比，在边界框平均精度(APb)上提升了(+1.7%)，在掩码平均精度(APm)上提升了(+1.7%)。经过N个阶段的特征交互后，将两个分支在每个尺度上的特征相加，用于密集预测任务。
论文阅读：Self-Collaboration Code Generation via ChatGPT
最新发布
m0_53605808的博客
05-16 449
尽管大型语言模型（LLMs）在代码生成能力方面表现出色，但在处理复杂任务时仍存在挑战。在现实软件开发中，人类通常通过团队协作来应对复杂任务，这种策略能有效控制开发复杂度并提升软件质量。受此启发，本文提出一种基于 LLMs（以 ChatGPT 为例）的自协作代码生成框架。具体而言，通过角色指令：（1）多个 LLM 代理扮演不同的 “专家” 角色，每个角色负责复杂任务中的特定子任务；（2）指定协作和交互方式，使不同角色形成虚拟团队以协同完成工作，最终实现无需人工干预的代码生成任务。
【论文阅读】Dip-based Deep Embedded Clustering with k-Estimation
dundunmm的博客
05-13 1330
本文提出了一种新颖的深度聚类算法DipDECK，该算法结合了自编码器和Dip检验，能够在优化聚类目标的同时自动估计聚类数量，且不依赖于传统的球形分布假设。DipDECK通过在嵌入空间中高估聚类数，并利用Dip检验识别结构相似的聚类进行合并，从而实现对复杂数据集的灵活聚类。实验结果表明，DipDECK在聚类效果、参数不敏感性和聚类数量估计方面均优于现有方法，为处理高维大数据提供了一种有效的解决方案。
【论文阅读】UNIT: Backdoor Mitigation via Automated Neural Distribution Tightening
开心星人的博客
05-14 817
ECCV2024UNIT为模型中的每个神经元近似一个独特且紧密的激活分布。然后，它主动消除超出近似边界的大幅激活值。现有的后门缓解技术对先前的攻击有效，但它们在消除由高级攻击引起的后门效应方面却力不从心。这是因这些方法要么在没有精确指导以减少后门效应的情况下重新训练整个模型，要么直接修剪一些特定神经元。这种粗粒度的方法无法对抗最近的高级攻击。例如，。在这种情况下，修剪这些神经元会不必要地影响良性效用。另一方面，保留这些神经元会保留模型中的后门行为。
【论文阅读】BEVFormer
博客标题不能为空我也没办法
05-15 400
BEVFormer，利用时间自注意力和空间交叉注意力对BEV query进行处理，输出场景的BEV特征
Recommendation System 和 Federated Learning 推荐论文
03-08
### 关于推荐系统与联邦学习的研究论文 #### 联邦学习中的个性化推荐算法 在联邦学习框架下，为了提升模型的泛化能力和保护用户数据隐私，《Think Locally, Act Globally: Federated Learning with Local and Global Representations》提出了结合局部和全局表示的方法[^4]。该方法通过引入本地特征向量，在不牺牲整体性能的情况下增强了针对特定用户的适应性。 #### 基于联邦学习的安全性和效率改进方案 考虑到隐私问题是联邦学习的重要组成部分，有研究表明需要采用适当的技术手段来保障训练过程中的信息安全[^5]。这些措施不仅限于加密通信协议的应用，还包括差分隐私机制的设计以及对抗攻击模式下的防御策略开发等方面的工作。 #### 序列型推荐系统的最新进展 对于时间序列类别的商品预测任务而言，近年来出现了许多创新性的解决方案。例如，在IJCAI、ICML等多个顶级会议上发布的研究成果展示了如何利用图神经网络（GNN）、自注意力机制等先进技术改善传统基于矩阵分解或协同过滤的方法效果[^1]。 ```python import numpy as np from sklearn.model_selection import train_test_split def federated_learning_with_local_global_representations(data): """ 实现了一个简单的模拟函数， 展示了如何在一个假设场景中应用联合学习并融合地方和个人表征。 参数: data (DataFrame): 用户行为记录的数据集 返回值: tuple: 训练后的全局模型参数和其他统计信息 """ X_train, X_test, y_train, y_test = train_test_split( data.drop('target', axis=1), data['target'], test_size=0.2) # 这里省略具体实现细节... global_model_params = {} stats_info = {"accuracy": np.random.rand()} return global_model_params, stats_info ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值