【论文阅读笔记】Efficient and Secure Federated Learning With Verifiable Weighted Average Aggregation

已于 2023-02-28 19:22:31 修改
阅读量389 收藏 2
点赞数 1
分类专栏： 论文笔记 文章标签： 机器学习 论文阅读
于 2023-02-28 17:22:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leticia_m/article/details/129265661
版权

个人阅读笔记，若有错误欢迎指正

期刊：2023 TNSE 论文链接：

Efficient and Secure Federated Learning With Verifiable Weighted Average Aggregation | IEEE Journals & Magazine | IEEE Xplorew 

问题：

        不可信or诚实但好奇的云会从客户端传来的梯度反推出客户端模型和数据，泄露了客户端隐私，并且被破坏的云模型还会污染到客户端

        如何保护FL中参与者数据的隐私，同时有效验证云服务器梯度的加权平均聚合

创新：

        通过采用掩码技术对加权梯度和数据大小进行加密，保护参与者的梯度隐私以及数据大小，支持保持隐私的梯度加权平均聚合。

        设计了可验证联合学习方法来检查FL中云服务器梯度聚合的正确性，该方法利用键控同态哈希函数和同态签名来构建可验证聚合标签(VAT)，参与者可以有效地生成和验证该标签。

        设计了一种通过批量检查多个验证的批量验证方法，在验证多次迭代的证明时，可以进一步提高验证效率。

方法：

整体框架：可信机构TA 参与方 云服务器。TA生成私有密钥对和公共参数并发送至客户端；客户端在其本地数据集上训练模型并上传加密梯度、数据大小和可验证聚合标签（VAT）到服务器，在收到服务器的聚合梯度、整体数据大小和验证证明后客户端对服务器聚合结果的正确性进行检验；服务端对收到的客户端梯度、数据大小、VAT进行聚合，聚合的VAT用于生成对参与方的检验证明。

 该方法的两个侧重点：1）如何进行安全的加权平均并且不泄露参与者的局部梯度和数据大小 2）对聚合的结果进行验证

通过weight masking对模型的局部梯度x_i进行遮蔽并生成相应的VAT(可验证聚合标签) V_i^x，同样对数据大小N_i加密并生成其相应的VAT V_i^N，然后将加密的梯度和数据大小以及VAT(V_i^x,V_i^N)一并上传到服务器，服务器分别对收到的数据进行聚合。客户端收到服务器聚合后的参数，并对VAT (V_i^x,V_i^N)进行验证，验证通过后使用聚合后的梯度和数据大小更新本地模型

 1）setup  随机对每个参与方u_i创建密钥对(K_i^{PK},K_i^{SK})PK公钥SP私钥，使用Differ-Hellman生成参与方u_i和u_j的随机数私人约定密钥s_{i,j}\gets KA.Aggre(K_i^{SK},K_j^{PK})

 2）weight mask  使用s_{i,j}作为输入使用伪随机数生成器生成随机数PRG(s_{i,j})，然而直接随机屏蔽不能使随机数在加权聚合阶段被抵消，因此每个参与方采用以下公式进行梯度mask。（N_i是参与方本地数据集大小）

[[x_i]]=N_ix_i+\sum_{u_j\in U:i<j}{PRG(s_{i,j})}-\sum_{u_j\in U:i>j}{PRG(s_{j,i})}

 [[N_i]]=N_i+\sum_{u_j\in U:i<j}{PRG(s_{i,j})}-\sum_{u_j\in U:i>j}{PRG(s_{j,i})}

        当有出现网络问题时客户端将延迟上传其梯度，服务器可以根据SSP.Recon重建客户端的随机数PRG(s_{i,j})，因为重建得到了梯度和PRG，为了保护客户端数据隐私，引入了新的随机数PRG(b_i)，b_i是参与方通过SSP.Share共享的随机数

3）weight aggregation  服务器对接收到的加密梯度和数据大小进行聚合

        上式推导过程

        正确聚合结果

 4）weight aggregation verification  每个客户端生成可验证聚合标签VAT并发送至服务器，服务器除对梯度和数据大小聚合外，也对VAT聚合生成聚合证明。

        TA将同台哈希密钥\delta和随机数h发送至每个参与方，参与方使用2）对梯度和数据大小进行加密，然后服务器生成随机值PRG(r)添加到加密梯度x中

        参与方对每个梯度x_i数据大小N_i采用同态哈希函数生成VATV_i^x,V_i^N。参与方将|| x_i|||| N_i|| VAT (V_i^x,V_i^N)一同发送至服务器

 5）Proof Aggregation

        聚合梯度及数据大小

        聚合VAT

 6）Verification  参与方对收到的梯度、数据大小、VAT使用同态哈希函数

若H_{agg}^x=V_{agg}^x，H_{agg}^N=V_{agg}^N，参与者可以获得正确的聚合梯度，云服务器可以通过验证，本轮的结果是可信的。

1）~ 6）过程整体流程推导

减少计算量，采用批量聚合的方法：

对梯度、数据大小加密和聚合的方法不变，对梯度的VAT聚合改变，先照常计算聚合第l个iteration的聚合梯度VAT

相应的同态哈希函数变为如下形式

总VAT 

 

在批量验证中，参与者可以从所有K次迭代中随机选择k次迭代。假设云服务器伪造了f次迭代的聚合结果。可以得到如下验证概率：

_Mia_
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Federated Meta-Learning with Fast Convergence and Efficient Communication论文阅读笔记
LauraXv的博客
03-03 1075
摘要 在移动设备上分布式训练机器学习模型所面对的统计和系统上的挑战是联邦学习现实应用中的瓶颈。本文通过实验说明meta-learning是解决这些问题的自然选择，并且提出了一个联邦元学习的框架FedMeta。和联邦学习相比，联邦元学习只共享meta-learner，而不是一整个模型。作者在LEAF数据集和一个真实的生产数据集上进行了实验。实验结果表明FedMeta更快收敛、需要的通信开销更少，并且相比于FedAvg能取得更高的准确率。同时，FedMeta只共享meta-learner，从而保护了隐私。
9.Paper小结——《VerifyNet: Secure and Verifiable Federated Learning》
m0_57126939的博客
10-29 6528
题目：《VerifyNet: Secure and Verififiable Federated Learning》 ——《安全的和可验证的联邦学习》 0.Abstract 联邦学习作为一种新兴的神经网络训练模型，由于其能够在不收集用户原始数据的情况下更新参数而受到了广泛的关注。然而，由于对手可以从共享的梯度中跟踪和获得参与者的隐私，联邦学习仍然暴露在各种安全和隐私威胁中。在本文中，我们考虑了深度神经网络(DNNs)训练过程中的两个主要问题：1)如何在训练过程中保护用户的隐私（即局...
(上大)组会报告题目汇总(持续更新~)
qq_33509110的博客
07-05 4561
(上大)组会报告题目汇总(持续更新~) 2021.7.1 VERIFL: Communication-Efficient and Fast Verifiable Aggregation for Federated Learning(TIFS) 2021.6.24 Scalable and redactable blockchain with update and anonymity(InfoS) 2021.6.17 Decentralized Privacy-Preserving Fair Exchange
论文阅读笔记--Federated Continual Learning with Weighted Inter-client Transfer
Shawn2134123的博客
02-01 3587
本文提出了一种新的场景，联邦学习（FL）的每个client各自执行一系列的持续学习（Continual Learning）任务，为了说明这个场景的实际意义，文章给出了这样一个场景： 若干个医院要通过一个联邦学习框架交流自己的知识，每个医院的模型都在进行自己的一系列的疾病预测任务。作者以一个持续学习算法（Additive Parameter Decomposition，APD）为基础，加上了client之间的知识的加权，构成了整个算法，其中APD是本文同一作者发表在2020年ICLR的论文。 Continu
最新论文笔记(+23)：VERSA: Verifiable Secure Aggregation for Cross-Device Federated Learning / TDSC23
cryptocxf的博客
05-20 1358
摘要：在传统cross-device（跨设备）联邦学习中，提交加密的本地模型给不可信的中央服务器聚合以更新全局模型。先前的工作依赖强假设来验证聚合结果的正确性，如不可靠网络中所有用户之间的可信设置。或是遭受昂贵的加密操作，如双线性配对。本文提出了一种模型恢复攻击，证明了大多数本地模型可以在合理时间内泄露。进一步，提出了一种可验证的跨设备联邦学习安全聚合协议VERSA。
Federated Continual Learning with Weighted Inter-client Transfer——论文笔记
qq_45478482的博客
11-18 1774
一. 简介 持续学习是一种序列化任务学习方式使得机器能够像人类一样不断去学习新知识而避免灾难性遗忘。然而，即便这样，这些模型根本上还是存在缺陷，因为每一个模型只能从直接经验去学习知识（意思是，只能对于自己的数据集去进行学习）。但是人类可以从书籍、视频等方式去获取他人的经验。那么不同机器也也可以存在这样一个方式去进行信息交换和学习，然而这样又到来隐私和通信的问题，而处理这一问题的方法就是联邦学习。 联邦学习是通过交换参数而不是原始数据本身来解决上述问题。然而简简单单的结合将会带来新的挑战。**首先是，持续的联
《Secure Analytics-Federated Learning and Secure Aggregation》论文阅读
superY_26的博客
10-05 1244
风险模型假设用户和中心服务器都是诚实且好奇的。如果用户是恶意的，他们有能力在不被监测的情况下影响聚合结果。操作高维向量；不管计算中涉及到的用户子集，通信是高效的；用户dropout是robust；足够安全双重掩码的目标就是为了防止用户数据的泄露，即使当server重构出用户的masks。首先，每个用户产生一个额外的随机秘钥aua_uau​，并且分布他的shares给其他的用户。生成yuy_uyu​yuxuau∑uvsuv−∑uvsv。
【论文笔记】FedGraph：Federated Graph Learning with Intelligent Sampling
weixin_43747691的博客
09-20 1233
FedGraph：Federated Graph Learning with Intelligent Sampling
Privacy-preserving and communication-efficient federated learning in Internet of Things.pdf
12-23
为了解决这些问题，研究者们提出了联邦学习（Federated Learning，FL）的概念。FL是一种分布式学习框架，允许设备在不离开本地数据的情况下，共同训练机器学习模型。 然而，当前的FL方案仍然存在一些问题，例如通信...
Federated-Learning-and-Split-Learning-with-raspberry-pi:SRDS 2020
05-19
请引用我们的工作为： @inproceedings{gao2020end,title={End-to-End Evaluation of Federated Learning and Split Learning for Internet of Things},author={Gao, Yansong and Kim, Minki and Abuadbba, Sharif ...
Advances and Open Problems in Federated Learning.pdf
05-13
Advances and Open Problems in Federated Learning。Federated learning (FL) is a machine learning setting where many clients (e.g. mobile devices or whole organizations) collaboratively train a model ...
secure federated transfer learning.pdf
07-22
着重描述联邦迁移学习参与放之间的协作，安全联邦迁移学习框架，计算损失和梯度的数学细节。着重描述联邦迁移学习参与放之间的协作，安全联邦迁移学习框架，计算损失和梯度的数学细节。
Client Selection for Federated Learning with.pdf
05-02
联邦学习客户端选择文献
【机器学习】Exam3
qq_55269856的博客
07-09 308
机器学习个人作业
影视行业的人工智能与-【机器学习】：案例分析
专研计算机网络，数据通信，网络安全，系统集成
07-09 1651
从自动化繁琐任务到创造全新形式的内容，AI的潜力是巨大的。本案例研究展示了AI如何生成动画视频，展示了其在内容创作中的潜力。随着AI的不断发展，行业需要适应以利用其优势，同时解决伦理和法律挑战。本案例分析探讨了AI和ML如何变革影视行业，提供了当前应用、未来潜在影响的见解，以及生成AI动画视频的实际代码示例。本详细分析展示了AI对影视行业的当前和未来影响，提供了实际示例和代码以展示AI在动画内容创作中的能力。使用AI创建一个简短的动画视频，展示AI在动画创作中的能力和潜力。
线性代数|机器学习-P23梯度下降
最新发布
scar2016的博客
07-11 753
Log-determinant regularization 通过在损失函数中加入一个负对数行列式项来约束矩阵X的结构。具体形式为Penalty−log⁡det⁡XPenalty−logdetX))​​其中X通常是一个正定矩阵， 这一正则化项有利于确保X的特征值远离零，从而避免数值不稳定性和病态矩阵的出现。
使用YOLO5进行模型训练机器学习【教程篇】
donnycode编程栈
07-09 965
其中 class_id 是类别的索引，x_center 和 y_center 是对象中心点的相对坐标（归一化到 [0, 1]），width 和 height 是对象的相对宽高（归一化到 [0, 1]）。标签文件：每个图像文件需要一个对应的标签文件，格式为 .txt，存放在 datasets/train/labels 文件夹中。在开始训练前，运行一下项目中的train.py，项目会训练demo样例，如果没有报错证明功能正常可以进行自己的模型训练，有报错请根据提示检查。
人工智能、机器学习、神经网络、深度学习和卷积神经网络的概念和关系
xrgs_shz的博客
07-07 894
深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的有效表示，而这种使用相对较短、稠密的向量表示叫做分布式特征表示（也可以称为嵌入式表示）。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。又称为机器智能，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是智能学科重要的组成部分，它企图了解智能的实质，并生产出一种新的能以与。核心，是使计算机具有智能的根本途径。
Privacy-Preserving Machine Learning Using Federated Learning and Secure Aggregation
05-04
Federated learning and secure aggregation are two techniques that can be used to achieve privacy-preserving machine learning. Federated learning is a technique where the machine learning model is ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值