联邦学习
文章平均质量分 67
35岁北京一套房
联邦学习与Latex
展开
-
我的创作纪念日
纪念日,2原创 2022-10-11 10:28:49 · 208 阅读 · 3 评论 -
联邦学习系列---读书个人总结
联邦学习基于分布式数据集建立模型,包括训练和推理,训练可以交换相关信息或者加密形式交换,但是不包括数据。Note有两个或以上的参与方协作构成建一个共享的机器学习模型训练过程中,数据不离开参与方相关信息可以以加密的方式传输或传换,并且不能通过这些信息推测出其他方的原始数据性能充分逼近理想模型例:有N个参与方{Fi}和N个数据集{Di传统:将所有的数据集传送到云服务器,进行训练,得到模型Msum联邦:各个参与方Fi在本地训练数据集,形成模型,与聚合器多次交互,得到模型MFED。原创 2022-09-24 14:29:09 · 655 阅读 · 1 评论 -
从联邦学习角度聊人工智能隐私
隐私是无价的,是一种权利,挖掘更多安全的技术来保护我们的隐私安全。原创 2022-09-21 20:46:56 · 505 阅读 · 5 评论 -
群体智能中的联邦学习算法综述---简笔记(除安全类)
群体智能中的联邦学习算法简述介绍群体智能与联邦学习的关系联邦学习框架分类中心化联邦半中心化联邦去中心化联邦(未涉及区块链等隐私的研究,所以未总结)精度优化泛化性优化收敛性优化效率优化模型神经网络开源平台(FATE[86]、TFF(TensorFlow federated)[87]、PySyft [88]、FedML [89]、Flower [90])隐私应用[1]杨强,童咏昕,王晏晟,范力欣,王薇,陈雷,王魏,康焱.群体智能中的联邦学习算法综述[J].智能科学与技术学报,2022,4(01):29-44.转载 2022-05-22 15:07:26 · 2509 阅读 · 1 评论 -
联邦学习--FATE部署心得
FATE部分详解原创 2021-04-10 22:05:29 · 557 阅读 · 0 评论 -
2021 末尾冒了个泡
快奔3了,总体来说,学业还是比较顺利的,求学路上充满偶然,但都是幸运的偶然。主要分三个方面吧,时间横跨2021-20222021 学习的新技术python画图,以前总看别人的论文图特别好看,但是不知怎么画的,自己就觉得很恐怖,在2021年,我终于学会了!原理就是训练时候把每一轮的精度保存成坐标的形式,最后用画图命令画出来,通过加入各种参数,调整图的线、光滑度!很有成就感!(举例)微信公众号,自己从0到现在的687个粉丝,通过不断地调整内容,变换排版,学习知识丰富内容,未来继续加油。原创 2022-01-26 00:07:11 · 1052 阅读 · 0 评论 -
联邦学习实战---读书笔记
概述图像处理:卷积网络自然语言处理:BERT推荐系统: 科技公司分析历史数据互联网数据中心预测互联网数据2021年达到50ZB,2025年达到175ZB数据–燃料—资产(提升产品质量、企业不良贷款)—大数据交易。难共享–依赖数据的人工智能难发展—为深度算法提供燃料----提供对比基准实际数据规模小、缺重要信息----高质量数据太少数据不动模型动、数据可用不可见1联邦学习:在模型训练过程中,模型的相关信息(模型参数、模型结构、参数梯度)在各参与方之间交换(明文、数据加密、添加噪声)狭义原创 2021-12-09 11:29:27 · 551 阅读 · 0 评论 -
pytorch 入门级项目的感悟
花了两天时间学习了基础卷积网络结构和pytorch实现,先放一个最经典的压压惊遇到的问题1、 sublime的代码用Pycharm打开,空格处可能会出现特殊字符,去掉。2、在运行过程中,cuda 要选择 gpu,cpu,可能会出现 ValueError: num_samples should be a positive integer value, but got num_samples=0; RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED原创 2021-08-25 15:58:11 · 191 阅读 · 0 评论 -
联邦学习论文汇总---十六
Client-Edge-Cloud Hierarchical Federated Learning客户端–云分层联邦学习背景1.云或边缘只有一个中心参数服务器,2.深度学习在强大的计算平台训练,终端设备生成和分发转移到中央服务器时,违反隐私问题。创新点1.允许多个边缘服务器执行部分模型聚合,2.引入中间边缘服务器,减少模型训练时间和终端设备的能量消耗3.基于边缘的联邦学习,参数服务器位于邻近边缘(基站),但是服务器访问的客户端数量有限,训练性能损失。4.与云边端相比,分层的联邦学习减少与云原创 2021-06-04 11:44:22 · 1419 阅读 · 0 评论 -
联邦学习论文汇总---十五
FedMD: Heterogenous Federated Learning via Model Distillation背景1.深度学习可以自动感知和推理,需要大型数据,系统异构性(本地异步解决了一部分),统计异质性性,需要创建自己的模型满足不同的规范,现有工作1.为凸问题的多任务学习提供一种框架2.基于贝叶斯、元学习和迁移学习创新1.迁移学习+知识蒸馏开发框架,每个用户有私有数据和私有模型2. 异构:局部模型的差异,参与者转化知识迁移内容1.每个模型对公有训练集训练,对私有数据集训练原创 2021-06-03 16:58:28 · 555 阅读 · 9 评论 -
联邦学习---论文汇总笔记(十四)
FedCD: Improving Performance in non-IID Federated LearningFedCD(克隆和删除模型动态地对相似数据的设备分组)1.机器学习的目标是在不同的数据源下效果都很好,数据受到隐私严格约束,有限的通信带宽和内存。2.在Non-iid下导致不同设备的更新冲突,训练轮之间明显震荡,收敛速度变慢。创新在指定时刻(位置),克隆全局模型,自适应更新全局的高分子模型,删除表现不佳的模型,为每个原型生成一个专门的模型,通过维护多个全局模型,优先更新在本地表现良原创 2021-06-03 10:38:16 · 913 阅读 · 12 评论 -
联邦学习笔记--论文汇总(十三)
Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning自适应联邦剪枝:提高通信和泛化能力背景具备传感器的智能设备,常常被携带,可以获取大量原始训练数据,个人设备可以计算深度模型,通信是主要瓶颈,加剧了掉队者的数量和丢失的概率,通信上百轮,通信时间很久。客户机向服务器发送完整的模型更新,丢弃带宽有限的客户机,学习到的低效模型降低用户体验,增加客户机原创 2021-06-02 20:29:49 · 927 阅读 · 3 评论 -
联邦学习--论文汇总(十一)
回归老本行,Non-iid !!!【1】SEPARATE BUT TOGETHER: UNSUPERVISED FEDERATED LEARNING FOR SPEECH ENHANCEMENT FROM NON-IID DATA, arXiv:2105.04727v1.分离但在一起:基于non-iid数据中增强语音的无监督联邦学习FedEnhance: 一种无监督的联邦学习,用于跨多个客户端non-iid分布式数据的语音增强和分离。迁移学习促进收敛和学习性能。现状从高保真的混合声音分离出单独的声原创 2021-05-19 16:05:58 · 1924 阅读 · 1 评论 -
联邦学习--论文汇总(十)
两篇关于压缩模型的联邦学习Group Knowledge Transfer: Federated Learning of Large CNNs at the Edge(组知识迁移:边缘设备的大型CNN联邦学习) FedGKT可以有效地在边缘上训练小CNN,通过知识蒸馏周期性地将小CNN的知识转移到一个大容量的服务器端CNN。边缘设备主要缺点是缺乏GPU加速器和足够的内存,无法在资源受限的边缘设备上训练大型CNN。优点:减少对边缘计算的需求,降...原创 2021-05-18 15:42:20 · 3227 阅读 · 1 评论