Differentially Private Asynchronous Federated Learning for Mobile Edge Computing in Urban Informatic

最新推荐文章于 2024-03-20 17:33:56 发布
最新推荐文章于 2024-03-20 17:33:56 发布
阅读量2k 收藏 15
点赞数 4
分类专栏： 论文阅读 文章标签： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Devil_B/article/details/106098652
版权
针对车联网中机器学习的挑战，提出了一种结合差分隐私的异步联邦学习方案。方案包括使用局部差分隐私进行本地训练，车辆模型的分布式随机传播以及模型验证的权重聚合。优点在于解决车辆移动性和隐私保护问题，但存在验证过程不清晰及模型准确性影响的缺点。
摘要由CSDN通过智能技术生成

Differentially Private Asynchronous Federated Learning for Mobile Edge Computing in Urban Informatics阅读笔记

文献背景及解决问题

由于无线网络带宽和计算资源的限制，车辆很难使用大量数据来进行提高服务质量的机器学习，比如自动驾驶和交通预测。本文设计了一种在车联网环境下的联邦学习方案，实现了具有差分隐私的异步联邦学习。

联邦学习在车联网中的挑战：
1.车辆的移动性很难保持云服务器和车辆连续不断的同步通信
2.负责聚合的中心服务器具有安全威胁，导致学习过程失败
3.敌手通过推测使得更新的模型泄露用户车辆的隐私信息

车联网中的联邦学习

在这里插入图片描述普通的做法：移动车辆在本地训练模型上传至路边单元，路边单元负责传输模型至基站，最后由基站负责聚合全局模型并提供给车辆使用。
问题1：车辆具有很强的移动性，并不能随时随地上传至特定的路边单元
问题2：中心服务器的脆弱性，一旦模型聚合出现问题，就会导致整个联邦学习系统失效
问题3：中心服务器如果发布恶意模型，用户在恶意模型上进行训练会导致用户数据被收集，而且用户不能感知到恶意模型的存在
问题4：差分攻击可能发生在学习方案中，使攻击者可能获取用户上传的更新中的隐私信息；拜占庭攻击使用户上传虚假模型降低模型可用性从而打消其余用户训练积极性
类似投毒攻击

具体方案

最低0.47元/天 解锁文章
香草星冰乐
关注
专栏目录
联邦学习 # （一）
skysys的研究小屋
10-14 549
联邦学习：解决数据孤岛问题 [[x]]指加密后的x e理解为第一把锁，d理解为第二把锁 FATE-BOARD：联邦建模可视化 Ref 《联邦学习技术介绍、应用和FATE开源框架》第1课 第一课PPT ...
【论文笔记07】A Survey on Differentially Private Machine Learning 差分隐私机器学习综述, IEEE CIM 2020
weixin_45632492的博客
03-31 1733
目录导引系列传送A Survey on Differentially Private Machine LearningReference 系列传送 【Active Learning】 【论文笔记01】Learning Loss for Active Learning, CVPR 2019 【论文笔记02】Active Learning For Convolutional Neural Networks: A Core-Set Approch, ICLR 2018 【论文笔记03】Variational Ad
TEA-Fed: Time-Efficient Asynchronous Federated Learning forEdge Computing
weixin_42447364的博客
01-08 1201
TEA-Fed
Learning Rate Adaptation for Differentially Private Learning
daxuan1881的博客
09-20 334
中间定理7是MA的组合定理，是说隐私损失的总矩是小于等于各个机制之和的矩，因为算法G1和G2都是独立的，所以有了定理9，根据定理9，相同的参数值q，σ和C，算法2运行的迭代次数是DP-SGD的一半。并且通过MA说明了该算法的优点。最右边是ADADP算法，可以看到他和DPSGD不同的是，DPSGD是把数据划分为固定大小的批次，ADADP算法是在每一轮需要迭代两个小批次，用于分别计算G1和G2，因此需要迭代N/2B次，最后通过判断条件去改变模型的学习率。
车联网场景下联邦学习应用（主要针对节点动态性和激励机制）——文献总结分析
最新发布
m0_51730146的博客
03-20 1995
从车辆移动性考虑，采用异步FL提升聚合模型的精度，将车辆位置、传输速率作为权重融入聚合公式;从传输延迟的角度，预测热门内容，基于DRL将其存储到本地或邻居RSU上，减少与MBS、云服务器的通信。；AE(auto encoder)提取content的潜在特征，训练AE中的权重和偏置项。异步联邦聚合方式，融入车辆移动性相关权重。
A Decentralized Federated Learning Approach For Connected Autonomous Vehicles 学习笔记---联邦学习、区块链与自动驾驶
m0_48022770的博客
11-22 1524
为了解决GFL的上述两个限制， 我们删除GFL的集中式全球服务器并使用区块链，并提出一种基于区块链的联邦学习(BFL)方法， 其中网络系统能够交换来自车辆的本地模型更新， 同时提供和验证其相应的奖励。因此，训练出的模型需要能够快速地适应不断变化的交通环境，这就需要训练过程中考虑到对现实世界情况的反应，以确保训练出的模型在实际应用中能够具有良好的适应性和实时性。总之，尽管联邦学习不是在实际驾驶过程中进行，但仍然需要低时延和对现实世界情况的反应，以确保训练出的模型能够具有良好的性能和实时性。
论文阅读：Auditing differentially private machine learning: How private is private SGD?
weixin_43641509的博客
09-18 386
Audit 正式版论文链接 预收论文链接（更加详细） 视频链接 Differential privacy gives a strong worst-case guarantee of individual privacy: a differentially private algorithm ensures that, for any set of training examples, no attacker, no matter how powerful attack, can not learn mu
【论文笔记09】Differentially Private Hypothesis Transfer Learning 差分隐私迁移学习模型, ECML&PKDD 2018
weixin_45632492的博客
04-03 737
目录导引系列传送Differentially Private Hypothesis Transfer Learning1 AbstractReference 系列传送 【Active Learning】 【论文笔记01】Learning Loss for Active Learning, CVPR 2019 【论文笔记02】Active Learning For Convolutional Neural Networks: A Core-Set Approch, ICLR 2018 【论文笔记03】Vari
一种用于车联网安全数据共享的联邦双向连接宽度学习方案
Tycoon_ys的博客
10-07 281
在每个集群中，这些车辆节点可以基于迁移学习对BiBLS获得的参数进行微调，以解决不平衡的数据现象，提高局部模型的性能。最后，BLS是一种有效的技术，但在IoV中使用BLS进行数据共享的工作还不多。例如，当车辆节点的样本很少时，或者当客户端只包含某个标签的样本时，训练的模型参数没有泛化能力。为了减少IoV中数据共享的延迟，我们使用BiBLS和联邦学习来实现准确及时的数据共享，而不会泄露隐私。因此，BiBLS使用一些有效的方法来增加增强节点、映射的特征节点和训练数据，而无需重新训练所有参数。
MEC研究现况和用于移动边缘计算的联邦学习框架
mine-Programmer
03-16 2537
MEC利用了现代设备在存储和计算能力方面的进步，将处理和存储过程本地地推导设备本身。 MEC作用：对大数据的高效处理将数据集中隐藏的信息和统计特征挖掘出来，对于资源规划、系统条件预测、分类等应用领域非常有用。 所以，为了在用户隐私方面操作大数据，联邦学习方法作为一组ML技术出现，直接在设备上执行统计和数学训练模型。FL框架包括在设备几倍本地培训的ML模型,然后将这些结果聚合到一个中心服务器上，例如...
Locally Differentially Private Protocols for Frequency Estimation
weixin_43641509的博客
10-25 2071
本文相对上一篇Locally Differential for Frequency Estimation 的主要区别在于： Wang et al.针对频率估计了一个抽象框架 **Pure Protocol** ，用于概括之前的几种LDP协议，并帮助优化LDP协议。
55页博士笔记总结ICLR 2019大会干货
机器学习算法与Python学习
05-12 324
作为今年上半年表现最为亮眼的人工智能顶会，ICLR 2019于5月6日至9日在美国新奥尔良举行。本届投稿比去年增长了近60%，共收到1591篇，录取率为31.7%。8个邀...
【论文记录】Differentially Private Empirical Risk Minimization with Input Perturbation
Liu, Q. B. 的博客
02-15 553
Problem Definition and Preliminary privacy concerns data privacy : when the data contributors release their own data to the database model privacy : when the database publishes the learned model to t...
Locally Differential for Frequency Estimation
weixin_43641509的博客
10-19 1370
Frequency Estimation LDP 针对频率估计的本地差分隐私机制 1. Preliminary 1.1 LDP & CDP 本地差分隐私机制&中心化差分隐私机制 1.1.1 Central model 中心化模型 每个客户端发送原始数据到可信任的第三方服务器，第三方服务器进行DP计算 先运算，再加噪（计算查询结果，再进行DP计算） 高准确率，低隐私性 Differential privacy 定义 一个满足ε-DP的算法M（ε ≥ 0），当且仅当对于任何相
【联邦元学习】解读FedMeta框架：Federated Meta-Learning with Fast Convergence and Efficient Communication
BlueBlue
09-01 1528
论文：Chen F , Luo M , Dong Z , et al. Federated Meta-Learning with Fast Convergence and Efficient Communication[J]. arXiv, 2018. 华为的一篇结合联邦学习和元学习的论文：在联邦框架下，基于MAML或Meta-SGD构建FedMeta模型。 【原创，转载需标明出处】论文解析（内含论文原文、代码链接）：https://ripe-heliotrope-6f4.notion.site/Fed
论文阅读：LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy
三金samkam的博客
12-04 2122
论文名字 LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy 来源 期刊 arXiv:2007.15789v1 预印本。审查中。 年份 2020.7 作者 Lichao Sun, Jianwei Qian, Xun Chen...
一篇可能被联邦学习同行封杀的文章
hellompc的博客
05-22 3051
我很喜欢巴菲特的一句话“当别人疯狂时我恐惧，当别人恐惧时我疯狂”，用于今天的隐私计算这个行业，非常合适。因为，“百花齐放”、五花八门、鱼龙混杂的隐私计算行业初期，确实让我对这个领域有一些担忧。本文我试图从隐私计算软件是否是开源和自主研发的角度来叙述当下的问题。 安全已是国家战略 作为程序员，我无条件支持开源，因为这是推动技术发展、普惠码农最廉价的方式，没有之一。放到安全计算这个领域，因为它的技术前沿性、未知性，将平台开源无疑是推动这一技术往前发展的有效方式。但是，火热的隐私计算领域让我陷入深深的思考——
Complete the code for Differentially Private Stochastic Gradient Descent. a. Fill in the code for per-example clipping and adding Gaussian noise. b. Implement the privacy budget composition. Calculate the privacy budget of the training process, which means calculating $\epsilon$ based on the variance of Gaussian noise $\sigma^2$ and the given $\delta = 10^{-5}$ in different epochs. You can use basic composition to complete the code. If you correctly apply the Moments Accountant method, you will receive bonus points. import numpy as np from scipy import optimize from scipy.stats import norm import math """ Optionally you could use moments accountant to implement the epsilon calculation. """ def get_epsilon(epoch, delta, sigma, sensitivity, batch_size, training_nums): """ Compute epsilon with basic composition from given epoch, delta, sigma, sensitivity, batch_size and the number of training set. """ return epsilon
06-12
Here is the completed code for Differentially Private Stochastic Gradient Descent, including per-example clipping and adding Gaussian noise as well as privacy budget composition: ```python import numpy as np from scipy import optimize from scipy.stats import norm import math def per_example_clipping(grad, clip_factor): """ Clip the gradient per example with a given clip factor. """ return np.clip(grad, -clip_factor, clip_factor) def add_gaussian_noise(grad, sigma): """ Add Gaussian noise to the gradient with a given standard deviation. """ return grad + np.random.normal(0, sigma, grad.shape) def get_epsilon(epoch, delta, sigma, sensitivity, batch_size, training_nums): """ Compute epsilon with basic composition from given epoch, delta, sigma, sensitivity, batch_size and the number of training set. """ steps = math.ceil(training_nums / batch_size) * epoch epsilon = sigma * math.sqrt(2 * math.log(1.25 / delta)) / sensitivity return epsilon * steps def dp_sgd(X, y, epochs, batch_size, clip_factor, sigma, delta): n, d = X.shape w = np.zeros(d) for epoch in range(epochs): for i in range(0, n, batch_size): X_batch = X[i:i+batch_size] y_batch = y[i:i+batch_size] grad = np.mean(X_batch * (sigmoid(X_batch.dot(w)) - y_batch).reshape(-1, 1), axis=0) clipped_grad = per_example_clipping(grad, clip_factor) noise_grad = add_gaussian_noise(clipped_grad, sigma) w -= noise_grad epsilon = get_epsilon(epoch+1, delta, sigma, clip_factor/batch_size, batch_size, n) print("Epoch {}: Epsilon = {}".format(epoch+1, epsilon)) return w ``` The `per_example_clipping` function clips the gradient per example with a given clip factor. The `add_gaussian_noise` function adds Gaussian noise to the gradient with a given standard deviation. The `get_epsilon` function computes epsilon with basic composition from given epoch, delta, sigma, sensitivity, batch_size and the number of training set. The `dp_sgd` function performs Differentially Private Stochastic Gradient Descent. For each epoch, it loops over the training set in batches and computes the gradient of the loss function using the sigmoid function. It then clips the gradient per example, adds Gaussian noise to the clipped gradient, and updates the weight vector. Finally, it computes the privacy budget using the `get_epsilon` function and prints it out. Note that the `get_epsilon` function uses basic composition to compute the privacy budget. It calculates the total number of steps based on the number of epochs and the batch size, and then uses the formula for epsilon with basic composition to compute the privacy budget for each epoch. It is worth noting that basic composition may not provide the tightest bound on privacy, and using the Moments Accountant method may provide a tighter bound.
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值