联邦学习(电子工业出版社)读书笔记
超威橘猫
PhD candidate
Department of Electronic Engineering
Shanghai Jiao Tong University
展开
-
联邦学习(电子工业出版社)——读书笔记(8)
第十章 应用前景联邦学习在诸多领域都有广阔的应用前景,由于各种原因,这些领域的数据不能被直接地聚合用来训练机器学习模型。目录第十章 应用前景金融医疗教育城市计算和智慧城市边缘计算和物联网区块链金融主要面临两个问题。第一,为了保护数据隐私和安全,银行、社交网络和网购网站之间的数据壁垒难以被跨越,因此无法直接聚合。第二,由这三方存储的数据通常是异构的,传统的机器学习不能直接处理异构数据。所以,目前传统的机器学习方法并不能有效地解决这些问题。联邦学习和迁移学习是解决原创 2020-11-01 17:38:07 · 361 阅读 · 1 评论 -
联邦学习(电子工业出版社)——读书笔记(7)
第八章 联邦学习与计算机视觉、自然语言处理及推荐系统联邦学习与计算机视觉联邦计算机视觉以资源为中心的深度学习开发模式,一方面确实促进了AI的研究和发展,但另一方面也阻碍了大量小公司对AI技术的使用。由于数据隐私、监管风险、缺乏激励等原因,许多企业并不愿意与其他企业直接共享数据。联邦目标检测模型的步骤如下:各参与公司从服务器下载现有的共享目标检测模型。 各公司使用本地标记数据对模型进行训练。 各公司通过安全协议,将训练后的模型参数上传至服务器。 服务器聚合所有参与方的模型参数,并更新原创 2020-10-31 17:03:34 · 350 阅读 · 1 评论 -
联邦学习(电子工业出版社)——读书笔记(6)
第七章 联邦学习激励体制在联邦学习中,如何建立激励体制使得参与方持续参与到数据联邦中是一项重要的挑战。它的任务目标位最大化联邦的可持续经营,同时最小化参与方间的不公平性,动态地将给定的预算分配给联邦中的各个参与方,还可以扩展为一种能够帮助联邦抵御恶意的参与方的调节机制。贡献的收益联邦可以与参与方们共享部分收益,以此作为激励。这里的研究问题是,如何以情境感知等方式量化每个参与方位联邦带来的增益,从而实现联邦长期的可持续经营。收益分享博弈一般而言,广泛使用的收益分享方法可以分为三类。平等原创 2020-10-30 20:38:29 · 301 阅读 · 0 评论 -
联邦学习(电子工业出版社)——读书笔记(5)
第六章 联邦迁移学习异构联邦学习联邦学习可以结合迁移学习技术,使其可以应用于更广的业务范围,同时可以帮助只有少量数据(较少重叠的样本和特征)和弱监督(较少标记)的应用建立有效且精确的机器学习模型,并且遵守数据隐私和安全条例的规定。我们将这种结合称为联邦迁移学习,它可以处理超出现有联邦学习和纵向联邦学习能力范围的问题。联邦迁移学习的分类与定义迁移学习的本质是发现资源丰富的源域和资源稀缺的目标域之间的不变性(或相似性),并利用该不变性在两个领域之间传输知识。基于执行迁移学习的方法,文献[254]原创 2020-10-30 15:15:18 · 353 阅读 · 1 评论 -
联邦学习(电子工业出版社)——读书笔记(4)
第五章 纵向联邦学习纵向联邦学习的定义把在数据集上具有相同的样本空间、不同的特征空间的参与方所组成的联邦学习归纳为纵向联邦学习(Vertical Federated Learning, VFL),也可以理解为按特征划分的联邦学习。在这种联邦学习体系下,每一个参与方的身份和地位是相同的。在VFL的设置中,存在一些关于实现安全和隐私保护的假设。首先,VFL假设参与方都是诚实但好奇的。第二,VFL假设信息的传输过程是安全且足够可靠的,能够抵御攻击。此外,还假设通信是无损的,不会使得中间结果的内容发原创 2020-10-29 12:02:23 · 499 阅读 · 2 评论 -
联邦学习(电子工业出版社)——读书笔记(3)
第四章 横向联邦学习横向联邦学习的定义横向联邦学习也称为按样本划分的联邦学习,可以应用于联邦学习的各个参与方的数据集有相同的特征空间和不同的样本空间的场景,类似于在表格视图中对数据进行水平划分的情况。横向联邦学习中通常假设只有服务器才能使得数据参与方的隐私安全受到威胁。文献[35]的作者提出了一种适用于模型参数聚合的加法同态加密方法,能够抵御联邦学习系统里的中央服务器窃取模型信息或者数据隐私。横向联邦学习架构客户-服务器架构在这种系统中,具有同样数据结构的K个参与方(也叫作客户或原创 2020-10-28 20:19:22 · 778 阅读 · 1 评论 -
联邦学习(电子工业出版社)——读书笔记(2)
第三章 分布式机器学习联邦学习与分布式机器学习(Distributed Machine Learning, DML)关系:有许多学者将联邦学习看作分布式机器学习的一种特殊形式 或者把联邦学习看作是分布式机器学习的下一步发展 我的理解:联邦学习是用户使用自己的数据集,自发地一起训练,联合起来实现更佳的效果;DML是将训练过程分配到各个计算节点目录第三章 分布式机器学习分布式机器学习介绍定义面向扩展的DML面向隐私保护的DML分布式机器学习平台面向扩展性的DML大规原创 2020-10-27 23:19:15 · 342 阅读 · 1 评论 -
联邦学习(电子工业出版社)——读书笔记(1)
本书于2020年9月上市,本文为其中前两章的总结,分别介绍了联邦学习的概述以及隐私、安全及机器学习。本文旨在为读者提供一个书中内容简短的总结,本书的信息详见文末。第一章使用同态加密,传统的数字通信之后,先把加密的信息用来平均再译码,这和直接用空中计算效果相同。但是这要求空中计算在判决时尽可能接近真实值。 联邦学习不一定是星形网络,也可能是分布式(可能去中心化) 联邦学习可以是模型训练也可以是模型推理,后者指的是大家一起预测,然后通过联邦平均的方法获得总和的预测结果 联邦学习模型相关的信息能够以原创 2020-10-27 11:08:06 · 693 阅读 · 1 评论