3. Differentially Private Federated Learning A Client-level Perspective

最新推荐文章于 2024-08-14 22:29:49 发布
最新推荐文章于 2024-08-14 22:29:49 发布
阅读量237 收藏
点赞数
分类专栏： # 22年寒假 文章标签： 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43676735/article/details/130040199
版权
文章探讨了联邦学习在面临差分攻击时的脆弱性，并提出了client-level差分隐私算法。通过使用高斯机制和动态调整的dp-preserving机制，能够在保护用户数据隐私的同时，确保模型的训练效果。文章还分析了模型训练过程中通信成本、方差和更新规模对模型精度的影响，特别是在标签拟合和数据拟合阶段的不同表现。
摘要由CSDN通过智能技术生成

文章目录

总结：(内容不多，收获较少)
1. 学习参考链接

1. 第一篇文献笔记

2. 第二篇文献笔记

2. 每文三问

  • 文章在解决什么问题？

    传统的联邦学习容易受到差分攻击，这种攻击可能来自联邦优化过程中的任何一方。在这种攻击中，通过分析分布式模型，客户端在训练期间的贡献以及本地数据集的信息可能被暴露。

  • 用了什么方法？
    提出 client-level DP 的一个算法

  • 效果如何？

    只要有足够多的参与者，仅以很小的模型代价即可实现 client-level 的差分隐私。

3. 知识点索引

章节1

  • 介绍 机器学习+差分隐私 的目的
  • 介绍 example-level privacy 和 user-level privacy 各自保护的对象

章节2.2

  • 介绍高斯机制
  • 讨论 δ (失败概率) 的阈值问题 == 讨论查询函数f 查询时 δ 的阈值问题

章节3

  • 通过 scaled version 确定敏感度上界 S

  • moments accountant 的功能 - 评估 δ 、跟踪 privacy loss

  • 讨论 模型训练时 δ 的阈值问题 == 模型训练的终止条件

  • 选择 合适的 S (clipping bound) 裁剪边界

  • 影响 σ选择 的两个因素 (失真率r 的上界、参与训练客户端数量的下界)

  • 方差 $ V_c $ 的作用

章节5

  • 选择一个模型的标准

  • “通信成本” 的定义

  • 动态调整 dp-preserving 机制。（ r = σ t 2 / m t r=\sigma_t^2/m_t r=σt2​/mt​， σ t \sigma_t σt​ 是方差， m t m_t mt​ 是随机抽样client子集中client的个数）

    1. 早期通信阶段
r固定，σ 和 m 均减小时，模型精度几乎没有变化，模型损失减小。从而在隐私预算耗尽之前，可进行更多次的通信。

2. 后期通信阶段
较大的 m 才能获得准确性。

  • 对比标签拟合阶段和数据拟合阶段中的 V c V_c Vc​ 与 U c U_c Uc​ 的变化含义。（ V c V_c Vc​ ：方差、 U c U_c Uc​ ：更新规模）

在这里插入图片描述

标签拟合阶段：
客户端的更新是相似的，所以Vc较低；
对随机初始化的权重进行了大的更新，所以Uc很大。

数据拟合阶段：
每个客户端都在优化自己本地数据集，所以Vc上升；
本地的最优状态与全局模型很接近，所以Uc急剧缩小。
Dataer__
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Differentially-Private-SGD
05-02
学士学位论文代码：具有差异性私人更新的随机梯度下降作者：Rayel Hardwarsing数据集BankNoteData.mat-钞票认证数据集KDDCUPX.mat / KDDCUPY.mat-KDDCup数据集mnist.mat-MNIST数据集careerData.mat-占用检测数据集...
Differentially Private Federated Learning: A Client Level Perspective
sleepinghm的博客
10-17 3951
介绍 我们的目标并不是只保护一个数据点。相反，我们希望确保一个学习模型不会显示客户是否参与了分散的培训。这意味着客户机的整个数据集受到保护，不受来自其他客户机的差异攻击。 我们的主要贡献:首先，我们展示了在联合学习中保持较高的模型性能时，客户机的参与是可以隐藏的。我们证明了我们提出的算法可以在模型性能损失很小的情况下实现客户级差异隐私。与此同时发表的一项独立研究[6]提出了一个类似的客户级dp程序...
联邦学习之差分隐私
威化饼的一隅
10-17 8603
联邦学习过程   联邦学习以轮为单位，每个轮内包含模型分发、本地训练和全局更新这3个阶段。 1. 模型分发   在模型分发阶段，服务器按照一定标准，选择参与本轮联邦学习的设备，例如下图中选中了3个设备，向它们分发全局模型。 2. 本地训练   在本地训练阶段，每个设备加载当前全局模型，使用自己的训练数据训练，得到新的本地模型。 3. 全局更新   在全局更新阶段，每个设备向服务器上传模型更新值，服务器收集更新值进行聚合，得到聚合结果，更新全局模型。 下一轮，服务器会将新的全局模型发送给选中的设备
【差分隐私联邦学习从入门到发文】
qq_41605740的博客
05-31 1011
差分隐私联邦学习理论、收敛性分析、代码汇总
CVPR2023
weixin_62501745的博客
04-11 1万+
CVPR2023
[pysyft-001]联邦学习pysyft从入门到精通--安装
大数据和机器学习研究
11-03 8876
1.github库地址 https://github.com/OpenMined/PySyft 2.论文 https://arxiv.org/pdf/1811.04017.pdf A generic framework for privacy preserving deep learning 3.安装 在centos上安装。 先安装conda，然后再创建pysyft环境。 4.安...
A High-Gain Dual-Polarized Antenna
02-08
A differentially-driven dual-polarized high-gain stacked patch antenna is presented in this paper. Three-layer stacked patches are adopted to increase the impedance bandwidth of the antenna. Each of ...
Differentially-private-decomposable-submodular-optimization:该存储库包含用于复制AAAI 2021接受的工作中的专用差分可分解子模块优化中报告的实验结果的代码
03-22
本项目名为"Differentially-private-decomposable-submodular-optimization"，它涉及到的是在保证差分隐私的前提下进行可分解子模优化问题的研究。 子模函数（Submodular Function）是一种在许多优化问题中出现的...
隐私树：一个分层分解式的差分隐私算法（PrivTree: A Differentially Private Algorithm for Hierarchical Decompositions）的理解
kirito242的博客
08-10 2604
传统简单的隐私树是这样的： 假设D为数据集，D的size为12，然后我们要做计数查询f，为阈值，为隐私参数，h为最大树高，从根节点开始创建，如果当前节点的数量大于并且深度小于h，那么将会继续分叉一级，循环直到所有的节点都已经被访问过。按照算法1的流程，隐私树将是图一的形状。  然后查询q的时候会从根节点开始访问  如果当前节点v和q毫无交集，则抛弃；如果有交集并且当前节点不是叶节...
论文阅读：Differential privacy federated learning a client level perspective
三金samkam的博客
01-25 2059
论文名字 Differential privacy federated learning a client level perspective 来源 NIPS 2017 顶会 年份 2017 作者 Robin C. Geyer, T assilo Klein, Moin Nabi 核心点 阅读日期 ...
【论文记录】Differentially Private Empirical Risk Minimization with Input Perturbation
Liu, Q. B. 的博客
02-15 531
Problem Definition and Preliminary privacy concerns data privacy : when the data contributors release their own data to the database model privacy : when the database publishes the learned model to t...
论文笔记：联邦学习——Federated Learning: Challenges, Methods, and Future Directions
liuzeyao_Newton的博客
09-27 2608
在本文中，我们概述了联邦学习，这是一种在分布式网络边缘训练统计模型的学习范式。与传统的分布式数据中心计算和经典的隐私保护学习相比，我们讨论了联邦学习的独特性质和相关的挑战。我们提供了一个关于经典结果的广泛调查，以及最近专门针对联邦设置的工作。最后，我们概述了一些值得进一步研究的开放性问题。为这些问题提供解决方案将需要广泛的研究团体跨学科的努力。
ICLR2020国际会议精彩演讲抢先看（含源码）！！
热门推荐
yinizhilianlove的博客
02-21 2万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
联邦学习——基于节点梯度和全局梯度的内积进行节点选择
联邦学习小白
06-15 2870
联邦学习——FedPNS 填上一篇的坑。 《Node Selection Toward Faster Convergence for Federated Learning on Non-IID Data》这篇论文建立在数据异构的基础上，设计了一个选择性地让节点参与模型聚合的概率模型。通过排除不利于全局收敛的节点，提高模型收敛速度和预测精度。 摘要 联邦学习(FL)是一种分布式学习范式，它允许大量资源有限的节点在没有数据共享的情况下协作训练模型。非独立的和同分布的(Non-IID)数据样本造成了全局目标和局部
C/C++开发，opencv内置背景减除算法与运动检测
最新发布
技术需要分享
08-14 1202
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
Complete the code for Differentially Private Stochastic Gradient Descent. a. Fill in the code for per-example clipping and adding Gaussian noise. b. Implement the privacy budget composition. Calculate the privacy budget of the training process, which means calculating $\epsilon$ based on the variance of Gaussian noise $\sigma^2$ and the given $\delta = 10^{-5}$ in different epochs. You can use basic composition to complete the code. If you correctly apply the Moments Accountant method, you will receive bonus points. import numpy as np from scipy import optimize from scipy.stats import norm import math """ Optionally you could use moments accountant to implement the epsilon calculation. """ def get_epsilon(epoch, delta, sigma, sensitivity, batch_size, training_nums): """ Compute epsilon with basic composition from given epoch, delta, sigma, sensitivity, batch_size and the number of training set. """ return epsilon
06-12
Here is the completed code for Differentially Private Stochastic Gradient Descent, including per-example clipping and adding Gaussian noise as well as privacy budget composition: ```python import numpy as np from scipy import optimize from scipy.stats import norm import math def per_example_clipping(grad, clip_factor): """ Clip the gradient per example with a given clip factor. """ return np.clip(grad, -clip_factor, clip_factor) def add_gaussian_noise(grad, sigma): """ Add Gaussian noise to the gradient with a given standard deviation. """ return grad + np.random.normal(0, sigma, grad.shape) def get_epsilon(epoch, delta, sigma, sensitivity, batch_size, training_nums): """ Compute epsilon with basic composition from given epoch, delta, sigma, sensitivity, batch_size and the number of training set. """ steps = math.ceil(training_nums / batch_size) * epoch epsilon = sigma * math.sqrt(2 * math.log(1.25 / delta)) / sensitivity return epsilon * steps def dp_sgd(X, y, epochs, batch_size, clip_factor, sigma, delta): n, d = X.shape w = np.zeros(d) for epoch in range(epochs): for i in range(0, n, batch_size): X_batch = X[i:i+batch_size] y_batch = y[i:i+batch_size] grad = np.mean(X_batch * (sigmoid(X_batch.dot(w)) - y_batch).reshape(-1, 1), axis=0) clipped_grad = per_example_clipping(grad, clip_factor) noise_grad = add_gaussian_noise(clipped_grad, sigma) w -= noise_grad epsilon = get_epsilon(epoch+1, delta, sigma, clip_factor/batch_size, batch_size, n) print("Epoch {}: Epsilon = {}".format(epoch+1, epsilon)) return w ``` The `per_example_clipping` function clips the gradient per example with a given clip factor. The `add_gaussian_noise` function adds Gaussian noise to the gradient with a given standard deviation. The `get_epsilon` function computes epsilon with basic composition from given epoch, delta, sigma, sensitivity, batch_size and the number of training set. The `dp_sgd` function performs Differentially Private Stochastic Gradient Descent. For each epoch, it loops over the training set in batches and computes the gradient of the loss function using the sigmoid function. It then clips the gradient per example, adds Gaussian noise to the clipped gradient, and updates the weight vector. Finally, it computes the privacy budget using the `get_epsilon` function and prints it out. Note that the `get_epsilon` function uses basic composition to compute the privacy budget. It calculates the total number of steps based on the number of epochs and the batch size, and then uses the formula for epsilon with basic composition to compute the privacy budget for each epoch. It is worth noting that basic composition may not provide the tightest bound on privacy, and using the Moments Accountant method may provide a tighter bound.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dataer__

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值