![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
联邦学习
文章平均质量分 89
你看见的我
我就在这里,你呢?
展开
-
联邦学习进展和问题Advances and Open Problems in Federated Learning
Advances and Open Problems in Federated Learning联邦学习联邦学习两种联邦学习变体:跨设备cross-device FL,主要应用于数字产品;跨企业cross-silo FL;主要应用于再保险财务风险预测、药物发现、电子健康记录挖掘[162]、医疗数据分割、智能制造等。Cross-device FL特征与挑战:中心服务器仅负责协调训练,理论上对用户数据一无所知,存在半可信或恶意安全模型假设;用户节点数量庞大,如何高效实现大批量用户并行原创 2021-01-08 00:23:35 · 1003 阅读 · 0 评论 -
梯度隐私泄露
梯度隐私泄露梯度信息推测出数据集信息(三种预设)参考文献梯度信息推测出数据集信息(三种预设)若获得梯度信息,根据权重梯度与偏置梯度的比值可以恢复出数据输入。若第一层梯度信息加密,可以根据第二层梯度信息恢复出隐藏层输出OuthiOut_{h_i}Outhi(第二层的输入),再利用第一层连接原理解方程组可以恢复出数据输入。上述两种情况假设偏置为定值(例如常数1),若神经网络模型偏置项数值由随机数生成;一般采用试错法,采用可能的偏置,比较推测梯度与真实梯度的差距,从而获得近似偏置值,偏原创 2020-10-31 01:24:16 · 3199 阅读 · 5 评论 -
(阅读笔记)Federated Learning: Strategies for Improving Communication Efficiency
提高联邦学习下的用户上行通信效率动机优化方法结构化更新”草图“更新实验结果查阅文章请点击动机用户网络连接可靠性低,且通信传输相对缓慢,即上行速率远低于下行速率,使得用户传输网络参数或梯度给服务器的通信效率成为联邦学习的信息瓶颈。提高用户上行链路通信效率的解决办法:结构化更新:直接从一个受限空间学习更新,用较少的变量进行参数化。”草图“更新:学习一个完整的模型更新,压缩传输的网络参数或梯度,例如量化、随机旋转、子采样等。优化方法结构化更新低秩梯度矩阵,固定AtiA_t^iAti,原创 2020-10-28 19:50:17 · 2701 阅读 · 4 评论 -
(阅读笔记)联邦安全聚合
联邦学习场景下的安全聚合协议设计动机协议设计过程安全聚合协议参考文献设计动机联邦学习场景下设计安全聚合协议的动机:处理高维参数或梯度向量;降低传输通信开销;应对用户中途退出鲁棒;用户隐私安全;协议设计过程一重掩码用户u和v (u,v∈Uu, v \in \mathcal{U}u,v∈U)协商掩码:su,vs_{u,v}su,v;用户u输入xux_uxu,加入掩码∑v∈Usu,v\sum_{v \in \mathcal{U}} s_{u,v}∑v∈Usu,v,输出yuy_uy原创 2020-10-28 00:59:25 · 1708 阅读 · 1 评论 -
(阅读笔记)基于秘密分享和梯度选择的高效安全联邦学习
基于秘密分享和梯度选择的高效安全联邦学习动机基础知识联邦学习TOP-K梯度选择加法秘密共享消息验证码设计模型半可信模型下的联邦训练恶意模型下的联邦训练实验结果参考文献动机联邦学习中,各用户上传梯度给协作服务器以进行梯度聚合,恶意敌手可以基于梯度推测出用户的隐私信息甚至数据,因此传输梯度需要采用安全算法,例如同态加密、安全多方计算等。用户上传所有梯度意味着大量的通信开销,为了提高协同训练效率、压缩通信开销,常结合梯度量化、梯度选择等。服务端可能存在劫持的风险,若恶意敌手篡改聚合梯度并分发给各用户,(原创 2020-10-24 23:49:03 · 3383 阅读 · 10 评论 -
(阅读笔记)联邦可视化框架
联邦可视化框架可视化模型联邦可视化框架联邦学习面临挑战参考文献联邦可视化框架是联邦学习框架在可视化领域的拓展应用,能够在不进行数据整合的情况下,数据不离开客户端本地,针对具体任务和特定场景进行加密训练,得出反映全体数据特征的可视化模型。数据的全面与否将直接影响数据可视化分析结果的准确性。可视化模型将数据信息映射成可视化元素。可视化元素组成:可视化空间、标记和视觉通道。数据由属性和值构成,属性与标记对应,值与视觉通道对应。标记是数据属性到可视化元素的映射,用以直观地表示数据的属性归类;视觉通道是原创 2020-10-21 18:35:14 · 464 阅读 · 0 评论 -
联邦学习白皮书V2.0
联邦学习白皮书V2.0联邦学习动机联邦学习概述联邦学习分类联邦学习框架联邦自动驾驶潜在攻击激励机制有效性和效率联邦学习动机数据收集、数据清洗、数据建模、任务预测通常为不同方,传统的数据交易所的数据交换违反GDPR通用数据保护条例,各个用户、组织或机构拥有的数据形成数据孤岛和壁垒。联邦学习是解决数据孤岛、打破数据壁垒、满足隐私保护和数据安全的一种可行性方案。联邦学习概述联邦学习特性:– 各方数据都保留在本地,不泄露隐私、不违反法规(上传参数或梯度);– 多方联合数据建立虚拟的共有模型、共原创 2020-10-21 00:34:02 · 3306 阅读 · 1 评论 -
联邦学习相关问题
联邦学习相关问题联邦学习和分布式机器学习的区分点是什么?–数据分布特点。分布式机器学习中数据一般被均匀(iid)的分布至各参与计算节点,目标是通过并行计算提升效率。联邦学习中数据天然的存在于不同领域、机构的数据孤岛中,数据分布差异大,不均匀(Non-iid)。–分布式学习更关注效率,往往在数据中心进行,数据拥有方是同一个体。联邦学习更关注安全,数据拥有方是多个个体。联邦学习、安全计算是什么关系?安全计算是联邦学习的重要组成部分。联邦学习通过**安全计算原理(差分隐私、同态加密、安全多方计算原创 2020-10-20 15:50:08 · 1469 阅读 · 1 评论 -
阅读笔记(Communication-Efficient Learning of Deep Networks from Decentralized Data)
阅读笔记(Communication-Efficient Learning of Deep Networks from Decentralized Data)欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与原创 2020-10-20 00:28:42 · 3226 阅读 · 3 评论