Deep Learning with Label Differential Privacy

已于 2022-05-11 21:59:38 修改
阅读量747 收藏 1
点赞数
分类专栏： 先验知识 差分隐私 LDP 文章标签： 深度学习 机器学习 算法
于 2022-05-11 21:19:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daxuan1881/article/details/124719067
版权
该文章探讨了在深度学习中，由于标签比数据更敏感，因此提出了一种基于标签差分隐私（Label Differential Privacy, LDP）的保护方法。通过随机响应（Random Response, RR）对标签进行随机化处理，特别是对于多类别问题，文章提出了改进的Generalized Random Response（GRR）算法。文章重点介绍了三个算法：1）多阶段训练，将数据集分割并应用GRR生成随机标签；2）使用先验知识调整随机响应的准确性；3）根据先验概率进行类别选择的随机响应策略。随着数据量增加，这种方法能提升模型性能，并提供了算法详细步骤和应用实例。" 107446444,9378712,使用JS实现九宫格放大图效果,"['JavaScript', '前端开发']
摘要由CSDN通过智能技术生成

motivation：数据集分为有（data,label），文章认为label是更为重要的，所以对于label进行隐私保护。

methods：通过随即响应RR将label随机化进行保护。

这篇文章认为数据集中输入标签Label是敏感的，而输入数据被认为不是敏感的，所以这篇文章只需要保护Label的隐私。

主要的创新点有两个，一个是提出了一个新的基于Label DP的多阶段深度学习算法，另一个是提出了一个带有先验知识Prior的经典随机响应算法。

多阶段的好处：1.先验概率越来越好2.数据集越来越多。会使模型更加好。

下面这个公式是GRR算法，与普通的random response算法相比，这个算法是针对多类别的情况，而RR算法只针对二分类情况。 公式意思是对每个LabelY采用GRR算法生成一个随机的label Y；以P的概率输出Y的值，以1-P的概率随机输出除了Y的值；

1.文章整个流程是算法3213，算法3是文章中多阶段的训练过程，把数据集分成了T份，在每一份中用算法2得到对应的随机标签，之后将T份进行合并，最终利用合并后的数据进行训练。随着数据集合的增多，对于模型训练也是有很大的好处的。

2.算法2的输入是标签y和先验知识，通过计算1-K个Wk,去求一个最大的k值，求和部分是真实标签在Yk中标签对应的概率和。最终目的是利用先验概率使得随机化后的标签y～输出是正确的概率是最大的。而且每一轮的random res

最低0.47元/天 解锁文章
XueDaxuan
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
On Deep Learning with Label Differential Privacy 深度学习中的本地差分隐私技术的应用和改进
weixin_43641509的博客
11-15 4697
On Deep Learning with Label Differential Privacy 链接: (1) Ghazi, B.; Golowich, N.; Kumar, R.; Manurangsi, P.; Zhang, C. On Deep Learning with Label Differential Privacy. arXiv preprint arXiv:2102.06062 2021. . 这里写目录标题On Deep Learning with Label Differential
Deep Learning with Differential Privacy翻译
qq_42803125的博客
07-27 4760
正在读CCS上的“Deep Learning with Differential Privacy”，人工翻译了一下： Abstract 基于神经网络的机器学习技术已经在多个领域取得显著成就。通常来说，模型的训练需要大的、有代表性数据库，这些数据库可能是外包的，或者包含敏感信息。模型不能泄漏数据库中的隐私信息。为了达到这个目标，我们提出了新的学习算法技术和在差分隐私框架下隐私成本的改良分析。我们...
差分隐私理论入门科普
黎明小书生
03-16 3162
        在基于隐私保护的数据发布研究中，主要考虑两个因素：1）隐私的保护性，即确保数据不会造成隐私泄漏；2）数据的有效性，即数据隐私保护后数据仍具有效用，在后续数据挖掘等工作中仍然具有较高的精确度 差分隐私主要分为4类，本地化差分隐私、中心化差分隐私、分布式差分隐私和混差分隐私。 1、本地化差分隐私（ε－LDP） 在本地化差分隐私中，一个统计数据库的查询结果不会受到任何单一隐私数据的影响，它能在确保处理后统计信息可用的需
Repo:Deep Learning with Differential Privacy
weixin_40934268的博客
11-08 2919
翻译参考：https://blog.csdn.net/qq_42803125/article/details/81232037 >>>Introduction: 当前的神经网络存在的问题：数据集是众包（crowdsourced）的，并且可能含有敏感信息 (众包：一个广泛的未加定义的群体而不是一个特定的群体) in this paper:结合了机器学习与隐私保护机制，用一个...
差分隐私与深度学习--联邦学习
fyrmaryt的博客
05-07 2860
tensorflow官方差分隐私项目： https://github.com/tensorflow/privacy
【机器学习与差分隐私代码实现】差分隐私代码实现系列（十二）
谈论现实
02-08 6004
差分隐私代码实现系列（十二）写在前面的话回顾机器学习与差分隐私使用 Scikit-Learn 进行逻辑回归什么是模型？使用梯度下降训练模型梯度下降的单一步骤梯度下降算法梯度下降与差分隐私渐变剪切梯度的灵敏度噪音对训练的影响总结 写在前面的话 书上学来终觉浅，绝知此事要躬行。 回顾 1、稀疏向量技术对数据集上的敏感度为1的查询流进行操作。它释放流中第一个通过测试的查询的标识，而不是其他任何内容。SVT的优点是，无论考虑多少查询，它都会产生固定的总隐私成本。 2、 在这种情况下，我们希望通过放弃对明显低于阈值的
联邦学习学习笔记——论文理解《Communication-Efficient Learning of Deep Networks from Decentralized Data》
热门推荐
biongbiongdou的博客
02-17 3万+
Google — Federated Learning 联邦学习Google原文：《Communication-Efficient Learning of Deep Networks from Decentralized Data》 最近研读了这篇提出了联邦学习（Federated Learning）的文章，并整理了详细的笔记，内容主要是对原文的理解和整理，希望能帮助正在了解联邦学习的小伙伴们。 ...
Deep learning with differential privacy---PPT.pdf
05-08
Deep learning with differential privacy---PPT.pdf
Federated_learning_with_differential_privacy：使用PyTorch通过各种神经网络和svm的基于差异优先级的联合学习框架
02-10
Vincent Poor},journal={{IEEE} Transactions on Information Forensics and Security},title={Federated Learning with Differential Privacy: {Algorithms} and Performance Analysis},year={2020},vo
Differential Privacy
09-14
微软的C. Dwork提出了一个概念，叫做Differential Privacy(差分隐私技术) `
Local Differential Privacy for Deep Learning-谢荣1
08-03
《局部差分隐私在深度学习中的应用》 随着物联网（IoT）的不断发展，它正在对包括医疗、农业、金融、能源和交通在内的各行各业产生深远影响。物联网平台借助软件定义网络（SDN）和网络功能虚拟化（NFV）等创新技术...
Machine Learning Differential Privacy With Multifunctional Aggregation in a Fog Computing Architecture
02-07
3. **差分隐私(Differential Privacy)**：是一种统计数据库查询的隐私保护机制，确保即使攻击者拥有大量辅助信息也无法准确地推断出某个个体的原始数据信息。 4. **雾计算(Fog Computing)**：作为云计算的一种扩展，...
【深度学习】【语音】TTS, CM-TTS，TTS扩散模型，论文
q742971636的博客
08-06 84
神经文本到语音（TTS）系统在语音助手、电子学习和有声读物创建等方面有广泛应用。现代模型如扩散模型（Diffusion Models，DMs）的追求，有望实现高保真、实时语音合成。然而，扩散模型中多步采样的效率存在挑战。已有尝试将生成对抗网络（GANs）与扩散模型整合，通过近似去噪分布来加速推理，但这会因对抗训练而引入模型收敛问题。为解决这一问题，我们引入了一种基于一致性模型（CMs）的新型架构CM-TTS。
【深度学习】什么是混合精度训练？缩放因子 S 的选择
q742971636的博客
08-05 179
S。
Python基于TensorFlow实现卷积神经网络-双向长短时记忆循环神经网络分类模型(CNN-BiLSTM分类算法)项目实战
最新发布
胖哥真不错的博客
08-09 518
Python基于TensorFlow实现卷积神经网络-双向长短时记忆循环神经网络分类模型(CNN-BiLSTM分类算法)项目实战
深度学习 —— 个人学习笔记14（ResNet、DenseNet）
Springer的博客
08-06 246
本文章为个人学习使用，版面观感若有不适请谅解，文中知识仅代表个人观点，若出现错误，欢迎各位批评指正。文中部分知识参考：B 站 —— 跟李沐学AI；
人工智能深度学习系列—GANs的对抗博弈：深入解析Adversarial Loss
u013889591的专栏
08-05 1853
生成对抗网络（GANs）作为深度学习中的一大突破，其核心机制是通过对抗性训练生成逼真的数据。Adversarial Loss，即对抗性损失，是GANs中用于训练判别器，以区分真实数据与生成数据的关键技术。本文将详细介绍Adversarial Loss的背景、计算公式、使用场景、代码实现及总结。生成对抗网络（GANs）由Goodfellow等人于2014年提出，它包含两个关键组件：生成器（Generator）和判别器（Discriminator）。
深度学习-模型剪枝
chengbin20101的博客
08-05 826
模型剪枝是一种模型压缩技术，它通过移除神经网络中的“不必要”权重或偏差（weight/bias），减少模型的大小和计算量，从而提高模型的效率和速度。剪枝的主要目的是在保持模型性能的前提下，降低模型的复杂度和资源消耗。
a deep learning library for solving differential equations
12-21
我们知道，微分方程在科学和工程领域中起着重要作用。而深度学习是一种有效的人工智能技术，可用于处理复杂的模式识别和预测任务。因此，设计一个用于解决微分方程的深度学习库将为科学家和工程师提供一个功能强大的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值