Federated Learning
文章平均质量分 90
UnknownBody
AI博士,最近一直follow大模型相关论文,每日会更新学术界论文的进展。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Exploring Cross-Client Memorization of Training Data in Large Language Models for Federated Learning
联邦学习(FL)能够在不共享原始数据的情况下实现协同训练,但仍存在训练数据被记忆的风险。现有FL记忆检测技术每次仅关注单个样本,低估了跨样本记忆这一更隐蔽的风险。相比之下,近年来集中式学习(CL)领域已提出细粒度方法,用于评估训练数据中所有样本的跨样本记忆,但这些方法假设数据可集中访问,无法直接应用于FL。为填补这一空白,我们提出一个框架:通过跨所有客户端的细粒度跨样本记忆度量,量化FL中的客户端内和客户端间记忆。基于该框架,我们开展两项研究:(1)测量客户端间的隐蔽记忆;原创 2025-12-02 09:30:00 · 162 阅读 · 0 评论 -
FedSRD: Sparsify-Reconstruct-Decompose for Communication-Efficient Federated Large Language Models
当前,基于公开网络数据训练大型语言模型(LLMs)的模式正逐渐失去可持续性,专业领域的高质量数据源已濒临枯竭。联邦学习(FL)作为下一代去中心化Web人工智能的实用解决方案应运而生,它通过利用全球客户端分布的私有数据,实现了隐私保护型协同微调。低秩适应(LoRA)虽是高效微调的标准方法,但在联邦场景中的应用面临一个关键挑战:在Web异构网络环境下,通信开销仍是重大瓶颈。LoRA参数内部的结构冗余不仅带来沉重的通信负担,还会在客户端更新聚合时引发冲突。原创 2025-11-08 09:30:00 · 149 阅读 · 0 评论
分享