联邦学习——学习笔记2：联邦学习×资源受限下的自适应本地迭代次数

于 2024-06-25 08:22:17 发布
阅读量372 收藏 3
点赞数 3
分类专栏： 联邦学习 文章标签： 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57180439/article/details/139837473
版权

文章目录

本笔记参考自b站up主：丸一口

论文参考自Adaptive Federated Learning in Resource Constrained Edge Computing Systems

原视频链接

一、符号

原文的符号解释如下图绿色字体所注
在这里插入图片描述

二、应用场景

在这里插入图片描述
就是在资源小于资源预算的情况下，同时又要满足资源受限的条件下，找一个损失函数最小的最终模型wf。

三、与FedAvg算法区别

在这里插入图片描述
在第k个客户端上做更新：做E轮循环，把数据集Pk用B的大小进行切分，切分成batches个，对于每一个batches里面的数据做梯度下降，然后整个数据集做完E轮训练得到新模型返回给中心方。

服务器端：初始化一个模型，做T轮循环，直到准确率达到要求，然后在众多客户端中随机选C*K个做梯度下降（C表示比例，K表示客户端总量），然后服务器在做梯度下降的同时，客户端也在并行的做迭代。做完上述操作后，做一个加权平均得到新模型。

FedAvg算法详解见笔者上一篇文章：文章链接

本篇文章探讨的算法如下：

在这里插入图片描述
在这里插入图片描述

ps：Lipschitz就是利普西斯连续，可以理解成它是一个连续的函数图像。
在这里插入图片描述
比如这里的p就可以理解成Fi（W）函数的一个斜率，p是可以通过公式算出来的。

在这里插入图片描述
在这里插入图片描述
可以理解为f(x)这个函数是smooth的，那么它的梯度就是利普西斯的，就相当于是β是导数斜率

客户端算法流程：
在这里插入图片描述
中心方算法流程：
在这里插入图片描述



劲夫学编程
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
本质图像论文笔记
weixin_34246551的博客
03-29 1244
PAMI2015 Shape, Illumination, and Reflectance from Shading ICCV2015 Intrinsic Decomposition of Image Sequences from Local Temporal Variations PAMI2016 Intrinsic Scene Properties from a Single RG...
联邦学习基础知识和概念（入门）
fake_face的博客
06-11 5711
联邦学习是一种带有隐私保护、安全加密技术的分布式机器学习框架，旨在让分散的各参与方在满足不向其他参与者披露隐私数据的前提下，协作进行机器学习的模型训练。其设计目标是在保障大个人数据隐私、保证合法合规的前提下，在多参与方（可能是现实中的多个机构）或多计算结点之间协同学习到一个更好的全局模型。联邦学习的数据不共享，（加密后的）参数可共享，它可以基于server-client主从的中心化(centralized)结构，也可以是去中心化(decentralized)结构。
联邦学习在non-iid数据集上的划分和训练——从零开始实现
QinZheng7575的博客
06-06 561
联邦学习在non-iid数据集上的训练。包含数据集的划分、训练、测试
联邦学习是什么？联邦学习简介
qq_45523675的博客
11-15 1万+
在大多数情况下，数据分散的保存在各个企业手中，而各个企业希望在不公开自己数据的情况下，联合其他企业（利用各个企业所持有的数据）一起训练一个模型，该模型能够帮助企业获取更大的利益。对于收集零散的数据，传统的方法是通过搭建一个数据中心，在数据中心对模型进行训练，但随着越来越多的法律限制加上数据拥有者不愿意透露自己的数据，这种方法已经渐渐行不通了。定义：联邦学习（federated learning），全称联邦机器学习（federated machine learning），为了解决联合训练模型时的隐私问题，提出
联邦学习（Federated Learning）
热门推荐
培根芝士的专栏
11-26 4万+
联邦学习简介 联邦学习（Federated Learning）是一种新兴的人工智能基础技术，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。其中，联邦学习可使用的机器学习算法不局限于神经网络，还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。 联邦学习的系统构架 以包含两个数据拥有方（即企业 A 和 B）的场景为例介绍联邦学习的系统构架。该构架可扩展至包含多个数据拥有方的场景。假
联邦学习（（Federated Learning，FL）
weixin_51306020的博客
07-14 9111
联邦学习相关概念、领域热点、挑战与前景。 联邦学习的定义、特点、框架、迭代流程、分类；领域亟待解决的问题；主要研究方向、热点和前景展望。
【联邦学习（Federated Learning）】- 从基本分布式思想开始理解联邦学习
1+1=王的博客
03-24 4364
机器学习和人工智能的成功离不开大量的数据，但随着人工智能在各行各业的应用落地，人们对于用户隐私数据保安全的关注度也在不断提高。如何在遵守更加严格的、新的隐私保护条例的前提下，解决数据碎片化和数据隔离的问题，是当前人工智能研究者必须解决的问题。在以上的背景基础下，人们开始寻求一种不必将所有数据集中到一个中心存储点就能够训练机器学习模型的方法。联邦学习旨在建立一个基于分布数据集的联邦学习模型。
python——Matplotlib学习笔记2
12-22
绘制散点图 ...plt.plot([1,2,3,4,5,6,8,10],[4,5,6,8,10,8,6,4],'ro')#瞄点 plt.show() 下面是使用numpy随机生成数并用sactter绘制散点图方法 import numpy as np import matplotlib.pyplot as pl
Python学习笔记（五）——–Python迭代器
01-20
2.迭代器只可向前访问，不能倒退（next()方法） 3.迭代器的两个基本方法：next()、iter() 三、Python中的迭代器 迭代器的两个基本方法：next()、iter() 1.获取String类型的迭代器，while遍历 a, i = Baldwin, 0 it ...
Cocos2d-x学习笔记——完全掌握JSAPI与游戏项目开发
07-23
资源名称：Cocos2d-x学习笔记——完全掌握JS API与游戏项目开发资源截图： 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
Angular2学习笔记——详解NgModule模块
11-28
在Angular2中一个Module指的是使用@NgModule修饰的class。@NgModule利用一个元数据对象来告诉Angular如何去编译和运行代码。一个模块内部可以包含组件、指令、管道，并且可以将它们的访问权限声明为公有，以使外部...
配套学习资料：Java开发 - 尚硅谷JavaWeb学习笔记
最新发布
06-22
Java开发 - 尚硅谷JavaWeb学习笔记 - Part2： Java开发 - 尚硅谷JavaWeb学习笔记 - Part3： Java开发 - 尚硅谷JavaWeb学习笔记 - Part4： Java开发 - 尚硅谷JavaWeb学习笔记 - Part5： Java开发 - 尚硅谷JavaWeb...
联邦学习
datacreating的博客
12-02 4380
“联邦学习（Federated Learning）”作为一种加密的分布式机器学习范式，可以使得各方在不披露原始数据的情况下达到共建模型的目的，即在不违反数据隐私保护法规的前提下，连接数据孤岛，建立性能卓越的共有模型。
简单理解什么叫联邦学习（全）
cryptocxf的博客
09-06 1万+
《Federated Machine Learning：Concept and Applications》 该篇综述《Federated Machine Learning：Concept and Applications》是杨强教授在2019年发表在ACM Transactions on Intelligent Systems and Technology (TIST)上的一篇综述论文，比较全面和系统的介绍了联邦学习的基本概念、分类和一些安全隐私问题等。下面是我个人结合本篇综述理解的一些笔记记录，比较精简，
联邦学习基础介绍
weixin_44458771的博客
09-19 4477
联邦学习（Federated Learning）是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，不需要交换本地数据，仅通过交换模型参数或中间结果来构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡。
联邦学习概述
武天旭的博客
02-03 2509
一、联邦学习的定义与应用场景 联邦学习是从技术维度出发，重点研究其中的隐私保护和数据安全问题的一种技术。其旨在建立一个基于分布数据集的联邦学习模型。 对于联邦学习的过程，主要分为两部分： ● 模型训练。在模型训练阶段，模型相关的信息可以在各方之间交换（或者是以加密形式进行交换），但数据不能交换，因此各个站点上的数据将受到保护，训练好的联邦学习模型可以置于联邦学习系统的各参与方，也可以在多方之间共享；
联邦学习介绍
qq_64826855的博客
05-09 1082
而横向联邦学习中的工作节点代表的是模型训练的数据拥有方，其对本地的数据具有完全的自治权限，可以自主决定何时加入联邦学习进行建模，联邦学习面对的是一个更复杂的学习环境。服务器聚合各机器上的返回的参数，更新模型，再把最新的模型反馈到每台机器。纵向联邦学习的本质是交叉用户在不同业态下的特征联合，比如商超A和银行B，在传统的机器学习建模过程中，需要将两部分数据集中到一个数据中心，然后再将每个用户的特征join成一条数据用来训练模型，所以就需要双方有用户交集（基于join结果建模），并有一方存在label。
什么是联邦学习
爱学习爱运动的专栏
12-17 5393
联邦学习 1.1 联邦学习的概念 历史：联邦学习最早在 2016 年由谷歌提出，原本用于解决安卓手机终端用户在本地更新模型的问题； 本质：联邦学习本质上是一种分布式机器学习技术，或机器学习框架。 目标：联邦学习的目标是在保证数据隐私安全及合法合规的基础上，实现共同建模，提升AI模型的效果。 联邦学习的架构分为两种，一种是中心化联邦（客户端/服务器）架构，一种是去中心化联邦（对等计算）架构。 针对联合多方用户的联邦学习场景，一般采用的是客户端/服务器架构，企业作为服务器，起着协调全局模型的作用； 针对联合多
opencv学习笔记——cv::mean()函数详解
06-12
cv::mean()函数是OpenCV中用于计算图像均值的函数，它的函数原型如下： ``` Scalar cv::mean(InputArray src, InputArray mask = noArray()); ``` 其中，src参数是输入的图像，mask参数是用于掩码的可选参数。 函数返回值是一个Scalar类型的值，包含了计算得到的均值。 使用cv::mean()函数的步骤如下： 1. 加载图像 ``` Mat img = imread("image.jpg", cv::IMREAD_GRAYSCALE); ``` 2. 计算均值 ``` Scalar mean = cv::mean(img); ``` 在这个例子中，我们计算了灰度图像的均值，并将结果存储在名为mean的Scalar变量中。 如果想要使用掩码来计算均值，可以使用以下代码： ``` Mat mask = imread("mask.jpg", cv::IMREAD_GRAYSCALE); Scalar mean = cv::mean(img, mask); ``` 在这个例子中，我们使用名为mask的掩码来计算灰度图像的均值。 需要注意的是，如果输入图像是多通道的，则返回的Scalar类型变量包含每个通道的均值。例如，如果输入图像是RGB图像，则返回的Scalar类型变量包含红、绿、蓝三个通道的均值。 希望这个解释能够帮助你理解cv::mean()函数的使用方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

劲夫学编程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值