- 博客(16)
- 收藏
- 关注
RSS订阅原创 FedICT: Federated Multi-task Distillation for Multi-access Edge Computing
为了在不依赖代理数据集的前提下解决MEC场景下普遍同时存在的个性化模型训练（多任务）、通信负载大、模型不能异质等问题，提出联邦多任务蒸馏框架 FedICT。旨在支持多任务客户端，同时减轻由于客户端本地模型优化方向不同而产生的客户端漂移。FedICT由两部分组成，用于个性化客户端蒸馏的联邦先验知识蒸馏（FPKD）和用于纠正服务器端蒸馏的本地知识调整（LKA）前者基于局部数据分布的先验知识来增强客户端的多任务能力，并通过在局部蒸馏过程中控制类注意力来增强局部模型与其局部数据的拟合程度（保持差异性）。
2023-12-14 22:26:20
1346
1
原创 缓存驱动的联邦学习架构FedCache
现有的PFL体系结构不能在系统性能（准确性）、资源效率（通信效率）和不依赖公共数据集之间实现良好的权衡，即便LIA比常用的PIA有着显著减少的通信负担和容忍异构模型训练的优势。如何设计个性化的联邦学习，在训练过程中只允许Logits传输，而不需公共数据集，同时优于基于class粒度Logits交互的体系结构？本文提出了FedCache，它是第一个基于 Sample-grained Logits 交互的架构（SLIA），且无需特征传输和公共数据集、保证令人满意的性能，同时符合 EI 中实际设备端异构的限制。
2023-12-13 22:10:52
1864
13
原创 联邦学习激励机制
联邦学习（FL）以足够数量的客户为基础，通过海量数据进行模型更新。有效和高效的联邦学习激励机制为其的发展提供动力。 本文就联邦学习的新兴热点领域-激励机制的理论基础和激励机制设计进行简单讨论。理论基础部分，拍卖理论和博弈论在边缘计算和群智感知的激励方向已有广泛的应用，但是因为联邦学习中客户端本地数据的异构以及贡献度量化难度高等挑战不能直接运用到联邦学习中。激励机制可由多因素驱动设计。数据贡献度可以由包括数据质量和数据规模等进行”局限性“地量化；用户的声誉也是衡量报酬支付水平的重要因素。......
2022-08-18 15:59:35
4060
1
原创 联邦学习分类合集
本文整理了联邦学习的各种分类方式以及相应应用场景。联邦学习按照数据特征划分可分为横向联邦学习、纵向联邦学习、迁移联邦学习三个大类；按照网络拓扑结构划分可分为集中式联邦学习和分散式联邦学习两类；按照应用目的划分可分为全局联邦学习和个性化联邦学习；按照聚合更新方式可以分为同步联邦学习和异步联邦学习，考虑到实际应用场景的需求，异步联邦学习因为更加适应于通信资源受限、数据异构等情况，在近几年中收到较多的关注。除了各种分类方式外，本文还整理列举出了一些经典的联邦学习框架。...
2022-08-17 15:57:40
1818
1
原创 TrisaFed：异步联邦学习框架
AFL在实际应用中更具有普适性，它能适应于设备不断变化（单个设备自身的硬件性能、添加去除设备、多异构设备协同）的现实场景，并极大地提升联邦学习的训练效率。本文针对异步联邦学习固有的过度拟合、通讯受限、加权聚合等问题，提出了提出TrisaFed，针对三大挑战分别提出应对策略：ICA根据信息型客户端激活策略激活具有丰富信息的客户端、MLU多层更新策略来优化客户端和服务器的交互、时权退减策略（TWF）和丰富权重增强策略（IWE） 增强聚合函数。...
2022-08-16 22:17:04
2420
1
原创 元学习（浅显易懂）
元学习（Meta Learning），关注于使能学习模型“学会学习”即learn to learn），使得模型获取调整超参数的能力，使其可以在获取已有“知识”的基础上快速学习新的任务。 本文详细讲解了元学习的相关定义和具体流程；元学习产生的背景及其与机器学习的区别；区分了容易混淆的迁移学习和元学习，并对两个Reptile和MAML元学习模型进行详细对比。后续会更新 迁移学习、 联邦元学习和联邦迁移学习，并且补充一些具体案例。......
2022-08-15 23:56:34
900
原创 联邦知识蒸馏
知识蒸馏(Knowledge Distillation）是一种教师-学生(Teacher-Student)训练结构，通常是已训练好的教师模型提供知识，学生模型通过蒸馏训练来获取教师的知识. 它可以以 轻微的性能损失为代价将复杂教师模型的知识迁移 到简单的学生模型中。分出基于知识蒸馏的模型压缩和模型增 强这两个技术方向。其中的教师模型都是提前训练好的复杂网络. 模型压缩和模型增强都是将教师模型的知 识迁移到学生模型中.。...
2022-08-14 17:09:00
3091
原创 联邦学习：FedProx框架
联邦学习不同于传统的分布式优化的两个关键挑战:高度的系统和统计异构性。引入了一个框架，FedProx以解决异构性难题（统计异构 系统异构）。FedProx可以看作是FedAvg的泛化、重构。对于非独立分布(统计异质性)的训练数据，框架提供收敛性保证（统计异构）；允许每个参与的设备执行可变数量的工作(系统异构性)来遵守设备级系统约束。FedProx在一组真实的联邦数据集上比FedAvg更健壮的收敛。特别是，在高度异构的环境下，FedProx表现出比FedAvg更稳定和准确的收敛行为。...
2022-08-13 15:10:45
6135
原创 联邦学习：MOCHA框架
MOCHA主要是为了解决联邦学习中的系统难题和统计难题而提出的联邦学习框架。MTL（多任务学习）通过学习每个节点的独立模型，利用任意的凸损失函数为每个节点训练出独立的权重向量。并且考虑节点模型间的相关性来解决联邦环境中的统计难题，并且提升样本容量，但是目前的MTL难以解决系统难题。在集中环境分布式多任务训练模型CoCoA的基础上进行改进，本文提出联邦多任务学习框架MOCHA，为模型参数W开发有效的分布式优化更新方法。...
2022-08-12 22:28:37
2562
原创 Federated Averaging算法
一种实用的基于平均迭代的联邦学习深度神经网络方法——Federated Averaging算法。它对不平衡和非iid数据分布是稳健的，相较于同步随机梯度下降方法（FedSGD）的通信次数减少10-100倍大大提高了联邦学习得模型效率。......
2022-08-12 15:22:51
1169
原创 拍卖理论之反向拍卖设计机理
这篇文献作者在设计群众感知系统的激励机制是运用到了反向拍卖和赢家排除机制的相关知识， 下文主要介绍该机制的设计原理、充分条件。
2022-08-11 13:03:10
1481
原创 联邦学习新模型（FedCS）——面向异构资源的客户端选择问题
本文所要解决的问题是异构客户端资源（数据资源：规模过大/小、计算能力：有快有慢、无线通信条件：模型参数传输时长差异 ）——延长服务器的聚合、更新步骤，进而降低模型训练的效率。为解决上述问题，作者提出了FedCS框架， 相较于传统的模型，其创新点在于增加了 Resource Request步骤，该步骤可以帮助移动边缘计算（MEC）服务器依据工人上传信息评估其“优劣”。 针对上述三种异构情况，若某工人的本地数据集太大/小，计算能力弱、信道状况差则会被工人选择算法（贪婪）pass掉，进而保证全局模型训练效率。.
2022-08-08 17:45:46
3616
5
原创 联邦学习（（Federated Learning，FL）
联邦学习相关概念、领域热点、挑战与前景。联邦学习的定义、特点、框架、迭代流程、分类；领域亟待解决的问题；主要研究方向、热点和前景展望。
2022-07-14 21:17:27
9138
原创 时代新宠——云原生
整合云原生相关资料：云原生三大特性、云原生组成、边缘计算云原生开源方案选型比较等仅供学习，无其他用途。如有错误，敬请指正！
2022-07-13 23:10:53
539
1
原创 数字孪生（Digital Twin，DT）
最近听了场张彦教授（Fellow, IEEE）关于”数字孪生“的讲座，拜读了大佬的综述和文献，并且整合了相关资料，对”数字孪生“的前世今生有的大致的了解。内容包含数字孪生相关概念的定义、关键技术、应用前景以及与其它领域结合的趋势，最后简单对比总结了数字孪生技术与元宇宙的区别。数字孪生是通过数字技术对某个物理进程进行模拟仿真，观察其数据分析后的变化与趋势，发现问题并优化，为精准决策提供预测分析。此概念由美国教授Michael W. Grieves在2002年最早提出。......
2022-07-13 16:19:07
2407
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人