论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning

最新推荐文章于 2024-05-27 14:35:46 发布
最新推荐文章于 2024-05-27 14:35:46 发布
阅读量1.9k 收藏 15
点赞数 6
分类专栏： 论文学习 文章标签： 深度学习 机器学习 神经网络 算法 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WINCJS/article/details/118436200
版权

论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning

NDSS 2021录用文章

目录

一、机器学习

1. 机器学习(ML)中的挑战

  • 为了实现健壮的机器学习模型，需要在多个数据提供者之间共享数据。

  • 问题1： 数据分享是困难的。
    1.敏感数据
    2.隐私条例(HIPAA，GDPR)
    3.商业竞争

  • ML模型的合作训练。

  • 问题2： ML模型泄露了训练数据的信息。

  • 提供机器学习作为一种服务(machine learning-as-a-service)。

  • 问题3： 用于预测的个人数据是敏感的。

2. 隐私保护机器学习(PPML)

基于多个数据提供者的数据，建立分布式机器学习模型，进行隐私保护训练和推理。模型保护了数据和模型机密性。

  • 中心化——集中训练
    1.将原始数据传输给可信第三方，可信第三方汇总数据到中央数据库
    2.数据保护: 中央数据库的安全
    3.需要信任中央服务器
  • 去中心化——联邦学习
    1.将模型带到数据中进行本地模型更新，而不是将数据带到模型中。模型是敏感的。
    2.共享中间模型更新（梯度）会导致各种隐私攻击，比如提取各方的输入。
  • 隐私保护去中心化——差分隐私
    1.在数据所有者之间交换差分隐私的中间值。
    2.效用降低。
    3.高隐私预算
    4.隐私的实际实现水平仍不清楚。
  • 隐私保护去中心化——安全多方计算
    1.基于秘密共享技术的服务器模型，数量为2、3或4。
    2.在分割信任的服务器数量方面具有限制。
    3.假设在计算服务器中有诚实的大多数。
    4.高的通信开销

二、POSEIDON方案

该论文扩展了SPINDLE（针对通用线性模型的隐私保护训练和评估），通过多方同态加密建立了一个新的系统，在分布式设置中使更复杂的模型（即神经网络(NNs)）的隐私保护训练和评估成为可能，提供端到端保护：

  • 各方的训练数据
  • 结果模型
  • 查询者的评估数据

1. 系统和威胁模型

系统模型

  • 系统模型
    1. N N N个数据提供者，每个本地持有自己的数据来训练神经网络模型。
    2.查询者对模型进行查询，得到模型评估数据的预测结果。
    3.为了提高通信效率，通信各方以树状网络结构相互连接。

  • 威胁模型
    一个多达N-1方串通的被动敌手模型。

  • 目标
    1.数据保密： 在训练和预测过程中，除了从自己的输入数据中推断出的信息外，任何一方都不应了解其他诚实方的输入数据的更多信息。
    2.模型机密性： 在训练和预测过程中，除了可以从自己的输入数据中推断出的信息外，任何一方都不应该获得关于模型的更多信息。

2. 方案总览

该方案提供了一个依赖于多方同态加密(MHE) 和联邦学习的解决方案。具体地，该方案依赖于一个MHE方案，它是针对基于RLWE的CKKS的变体，可抵抗后量子攻击。

  • 本地数据总是保存在数据提供者的前提下。
  • 在训练和评估过程中，神经网络模型的权重始终是加密的。

多方同态加密(MHE)

  • 各方都知道公开的集体密钥。
  • 相应的私钥被分发给各方。
  • 解密需要各方之间的协作。
  • 为更新密文提供有效的协作bootstrapping。

下面给出基于BVF的MHE的协作密钥生成协议。
注：可忽略，这里只是形象展示一下多方安全地协作计算

协作密钥生成协议

联邦学习

问题: 数据提供者必须在梯度下降过程中协作，否则他们会找到不同的最小值。

我们依赖于基于联邦学习的方法，其中

  • 每个数据提供者执行若干局部迭代，并计算每一层的梯度。
  • 这些梯度在各方之间聚集在一起，各方用梯度的平均值进行模型更新。

解决方案： 数据提供者(DPs)协作实现联合梯度下降，同时保护其隐私，并获得全局和准确的模型。

  • 定义任务，例如训练神经网络模型。
  • 每个DP对其数据执行若干次训练迭代。
  • 在一个全局模型中，DPs共同并迭代地组合它们的梯度(更新)。
  • 训练结束后，该模型被保密，用于不经意的预测。

主要挑战和解决方法

  • 梯度下降挑战
    1.非多项式激活函数，如Sigmoid, Softmax
    2.昂贵的同态运算，即旋转，自举
    3.特定于模型的函数，即卷积神经网络(CNNs)中的池化

  • 对应措施：
    1.激活函数的最小二乘近似
    2.启用单指令多数据(SIMD)的特定问题打包方案
    3.引入多个函数到分布式bootstrapping中

  • Bootstrapping挑战
    该模型在多次迭代过程中是持久的→大的乘法深度→密文需要bootstrapping

  • 对应措施：
    1.高效和写作的bootstrapping
    2.通过参数最小化bootstrapping数量

  • 参数化挑战
    学习参数和密码参数之间的强相关性

  • 对应措施：
    选择密码参数的约束优化问题

3. 方案

CKKS简介

下面是CKKS的基本表述
CKKS简介
下面是POSEIDON中使用的CKKS相关密码操作函数
密码操作函数

协作训练

文中采用MapReduce架构来描述协作训练，下面是协作训练协议以及梯度下降算法，理解起来不难。
协作训练协议
梯度下降算法

其他重要功能

下面是交替打包协议
在这里插入图片描述

下面是任意线性转换的分布式Bootstrapping协议

分布式ootstrapping
下面是旋转功能的应用，包括向左旋转求内积和以及向右旋转复制两个功能。
旋转功能
为了更直观地掌握其原理，下面是一个小demo

旋转求内积demo

POSEIDON 实例

将POSEIDON运用到2层多层感知机网络中，得到以下实例

Execution pipelinefor a 2-layer MLPnetwork withAlternating Packing

总结

这篇文章主要是扩展了SPINDLE方案，将线性模型扩展到神经网络模型，提出了一个新的系统POSEIDON。具体地，文章首先基于2017年提出的CKKS方案设计了多方同态加密，虽然并未给出具体的基于CKKS的多方同加密方案内容，但这很容易从2020年基于BFV的MHE进行推导。此外，文章的贡献还包括1）设计了一种交替打包方式，减少了矩阵向量乘法中的转置和旋转操作2）给出了神经网络模型中密码参数和机器学习参数的联系，构建了一个优化模型用来减少密码操作。

参考文献

[1] D. Froelicher, J. R. Troncoso-Pastoriza, A. Pyrgelis, S. Sav, J. S. Sousa, J.-P. Bossuat, and J.-P. Hubaux. Scalable privacy-preserving distributed learning. Privacy Enhancing Technologies Symposium (PETS), 2021.
[2] C. Mouchet, J. R. Troncoso-pastoriza, J.-P. Bossuat, and J. P. Hubaux. Multiparty homomorphic encryption: From theory to practice. In Technical Report https://eprint.iacr.org/2020/304, 2019.
[3] J. H. Cheon, A. Kim, M. Kim, and Y. Song. Homomorphic encryption for arithmetic of approximate numbers. In Springer International Conference on the Theory and Application of Cryptology and Information Security (ASIACRYPT), 2017.
[4] J. Fan, F. Vercauteren. Somewhat practical fully homomorphic encryption. IACR Cryptol. ePrint Arch., 2012.
[5] C. Jiang, C. Xu, Y. Zhang, PFLM: Privacy-preserving Federated Learning with
Membership Proof, Information Sciences (2021), doi: https://doi.org/10.1016/j.ins.2021.05.077.
[6] S. Sav, A. Pyrgelis, J. R. Troncoso-Pastoriza, et al. POSEIDON: Privacy-preserving federated neural network learning[J]. arXiv preprint arXiv:2009.00349, 2020.

G-VCFL: Grouped Verifiable Chained Privacy-Preserving Federated Learning 可验证链式联邦学习
2404_87750875的博客
11-03 1045
用户的数据可能包含隐私信息。例如，在医疗诊断中，患者数据是高度隐私的，不能直接与第三方共享。此外，收集大量数据成为一个主要挑战，特别是在网络资源有限的情况下。所有这些问题使得集中式机器学习极具挑战性。联合学习由多轮培训组成。在每一轮训练中，聚合服务器基于规则将全局模型分发给所选择的用户。然后，用户在其本地数据集上训练本地模型并将其上载到服务器，并且聚合服务器执行模型聚合以获得新的全局模型。虽然Federated Learning会在本机保留敏感的训练数据，但它仍会面临安全性风险。
论文《Privacy-Preserving Federated Deep Learning with Irregular Users》实验部分
WANG_FENG_的博客
08-09 1136
5.1 Functionality 5.2 Accuracy 5.2.1 Effect of iteration times with different proportions of irregular data 我们首先讨论了加密方法中迭代次数的影响。如第3.3节和第4.3节所述，我们知道在PPFDLbscand PPFDLimd的初始化过程中，xm的值∗在第一次迭代中使用的每个梯度m都需要初始化。Works[25]给出了每个梯度xm∗可以初始化为第m个梯度上所有用户总和的平均值。然而，由..
POSEIDON: Privacy-Preserving Federated NeuralNetwork Learning
最新发布
weixin_60335028的博客
05-27 965
POSEIDON: Privacy-Preserving Federated NeuralNetwork Learning阅读笔记
Privacy-Preserving-Federated-Learning-I:我的“最后一年”项目的源代码-隐私保护联合学习（I）
03-28
隐私保护联合学习I 我的“最后一年”项目的源代码-隐私保护联合学习（I） 数据预处理 在以下位置下载原始数据： : 运行Data_Preprocessing.py以生成该项目所需的所有数据文件 集中学习 在Centralized_Training.py中：（1）运行train_model（epochs）以运行模型（2）运行threshold_calculation（Path）以获取阈值（3）运行valuate_model（）以获取TP，FP，TN，FN，准确性，精度和召回模型 个人学习 在Individual_Training_Client1.py，Individual_Training_Client2.py，Individual_Training_Client3.py中：（1）运行train_model（epochs）以运行模型（2）运行threshold_calculation（P
1.Paper小结——《Privacy-Preserving Federated Learning in Fog Computing》
m0_57126939的博客
09-19 2846
Abstract 联邦学习可以结合大量分散的用户组，协同训练模型的数据集，而无需上传数据集，从而避免服务器收集用户敏感数据。然而，联邦学习模型会暴露用户的训练集信息，在多个用户的场景中，用户拥有的数据量不均匀，会导致训练效率低下。本文提出了一种在雾计算中保护隐私的联邦学习方案。作为参与者，每个雾节点能够收集物联网（物联网）设备数据，并完成我们方案中的学习任务。这种设计有效地改善了数据分布不均匀和计算能力差距大导致的训练效率低和模型精度的问题。我们使物联网设备数据能够满足ε-差分隐私，以抵抗...
001 A Comprehensive Survey of Privacy-preserving Federated Learning（便于寻找：FedAvg、垂直联邦学习的基本步骤）
Uzz_yuzaizai的博客
05-31 1251
这是我看的第一篇关于联邦学习的论文，综述文章，让我对联邦学习有了初步的了解。 A Comprehensive Survey of Privacy-preserving Federated Learning: A Taxonomy, Review, and Future Directionshttps://doi.org/10.1145/3460427 下图用表格的形式将联邦学习中隐私保护相关论文进行了罗列 ......
A Hybrid Approach to Privacy-Preserving Federated Learning
qq_44026293的博客
01-01 1489
背景 差分隐私(Differential Privacy) 隐私其实是一个很微妙的定义，在机器学习领域，这个定义变得更加模糊，考虑以下场景： 高德地图曾在《2016年度中国主要城市交通分析报告》中统计了各类车型车主最爱去的场所，结果显示奔驰车主住别墅，宝马车主爱购物，沃尔沃车主很文艺，…，而凯迪拉克车主偏爱去洗浴中心 那么对于以下两个场景： 小a是一位凯迪拉克车主，他爱去洗浴中心（属于隐私泄漏） 假设我们已经得知了凯迪拉克车主爱去洗浴中心这一统计结果，然后又知道小a是一名凯迪拉克车主，因此我们猜测小a爱去
【阅读笔记】Towards Efficient and Privacy-preserving Federated Deep Learning
HERODING23的博客
02-13 3543
Towards Efficient and Privacy-preserving Federated Deep Learning前言一、论文解析Abstract1. INTRODUCTION2. SYSTEM MODEL AND THREAT MODEL2.1 System Model2.2 Threat Model3. PRELIMINARIES3.1 Neural Network and Federated Deep Learning3.2 Additively Homomorphic Encrypt
poseidon：Poseidon服务器框架（重构WIP）
02-03
波塞冬服务器框架 产品特点 协程（纤维） 原生TCP ，基于TCP的TLS和基于IPv4或IPv6的UDP 基于epoll的I / O复用 可配置的附件 异步MySQL访问（可选，WIP） 异步MongoDB访问（可选，WIP） 如何建造 ...
poseidon：Poseidon是基于python的应用程序，它利用软件定义网络（SDN）来获取网络流量并将其提供给多种机器学习技术。 机器学习算法对设备类型进行分类和预测
02-01
我们的实验室正在努力提高网络训练集的可用性，但是在短期内，该项目仍将重点放在1）提高识别节点IS的准确性（基于捕获的IP标头数据）和2）将Poseidon开发为“利用”以容纳其他使用案例的机器学习技术。 （阅读：...
poseidon:基于 Firmament 的 Kubernetes 调度器
08-05
Poseidon/Firmament scheduler 孵化项目是将 Firmament Scheduler 集成到 Kubernetes 中。 在非常高的层次上，Poseidon/Firmament 调度程序通过将基于新的新型流网络图的调度功能与默认的 Kubernetes 调度程序相结合...
Automation-Poseidon：根据接口生成RPC文件
02-18
说明 根据接口自动生成rpc文件 备注 使用protoc-gen-gogofaster插件生成pb.go文件 protoc-gen-gofast (5-7 times faster than gogo) protoc-gen-gogofast (same as gofast, but imports gogoprotobuf) ...
隐私保护-联邦学习&同态
juli_eyre的博客
12-28 1970
联邦学习 隐私保护
神经网络的federatedlearning与privacypreserving
AI天才研究院
01-28 949
1.背景介绍 在本文中，我们将探讨神经网络的Federated Learning与Privacy-Preserving技术。这两种技术在现代人工智能领域具有重要的地位，可以帮助我们构建更安全、更私密的机器学习模型。 1. 背景介绍 Federated Learning(联邦学习)是一种分布式机器学习技术，它允许多个客户端(如智能手机、平板电脑等)共同训练一个全局模型。每个客户端都拥有一部分数...
最新论文笔记(+21)：Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems/ TIFS2022
cryptocxf的博客
10-11 8616
Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems 可译为“利用区块链实现隐私保护的拜占庭鲁棒性联邦学习”这篇是今年八月份被TIFS2022（CCF A）收录的文章，写的利用全同态加密和区块链技术解决联邦学习中隐私问题和可信问题（虽然区块链仅仅只是存储的作用，也稍微提了一下）。精读完这篇文章，整体感觉还不错，毕竟是CCF A类期刊。下面是自己读后感，根据自己的语言来做了一些笔记，也相当于回顾。
【阅读笔记】Federated Learning for Privacy-Preserving AI
HERODING23的博客
12-20 1451
Federated Learning for Privacy-Preserving AI前言一、论文解析DefinitionCategorizationArchitectureApplication ExamplesUse Case 1：FedRiskCtrlUse Case 2：FedVisionOutlook二、论文总结三、个人感悟 前言 一篇来自 Communications of ACM 的文章，这类期刊相当于magazine性质的文章，所以大多很短。之前阅读了PPFL的综述，对PPFL有了更深刻的
密码学&机器学习~Paper sharing
qq_33509110的博客
04-25 4457
(1)分享在CSS2021上看的比较相关的paper Cert-RNN: Towards Certifying the Robustness of Recurrent Neural Networks (CSS2021), 认证方向，应用在两种RNNs模型（RNN, LSTM）上。本能感觉认证可以和攻击防御结合，当然本文也是这样做的。 Locally Private Graph Neural Networks (CSS2021), 基于差分隐私的图网络隐私保护计算，和我做的隐私保护计算方向契合，但是我不做差
隐私计算两个场景下的个人信息保护探讨——兼论匿名化问题
OpenMpc的博客
08-26 623
隐私计算又称隐私保护计算(Privacy-Preserving Computation)或隐私增强技术(Privacy Enhancing Technology)，是指在保证数据提供方不泄露原始数据的前提下，在保障数据安全及个人隐私的基础上，通过一系列包含人工智能、密码学、数据科学等领域的技术手段，对数据进行分析和计算、充分释放数据价值，实现数据流通过程中“可用不可见”的技术解决方案。此外，考虑到对“匿名化”存在“相对匿名化”的解释（详见下文），本示意图对匿名化数据的重标识性风险显示为无限趋于零。...
2022年顶会、顶刊SNN相关论文
热门推荐
lanpeople的博客
04-15 1万+
2022年顶会、顶刊脉冲神经网络相关优秀论文收集
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值