【Paper Reading】24‘ CCS 数据编码的形式隐私证明：可学习混淆的可能性和不可能性(未完待续)_is private learning possible with instance encodin-CSDN博客

本文链接：https://blog.csdn.net/weixin_51053484/article/details/144659358

写在前面

好久没有看隐私相关的内容了，说实话一看到隐私会头疼，因为涉及的数学部分刚好是我不擅长的，但是今天看到这一篇有可学习混淆的文章，还挺好玩，希望能把这篇啃下来。。。（请大家多批评指正）

Formal Privacy Proof of Data Encoding:The Possibility and Impossibility of Learnable Obfuscation

数据编码的形式隐私证明：可学习混淆的可能性和不可能性

Author：Hanshen Xiao G. Edward Suh Srinivas Devadas

ABSTRACT

有这样一个长期存在的开放性问题：是否存在一种数据编码类型，可以保持编码样本的“可学习性”，使直接在转换后的数据上进行模型训练成为可能，同时确保明文和秘密编码函数的隐私？
先前的工作中，考虑设计这样一个加密函数，例如NeuraCrypt和TransNet（它们都是基于启发式的，没有形式隐私保证，而且已知对这些构造存在许多成功的重建攻击）
作者提出了关于可学习混淆的一般性可能性和不可能性结果。
一方面，作者证明了任何非平凡的、保持性质的转换，能有效地使编码样本学习，却不能在最坏情况下提供密码计算安全性。另一方面，从信息理论安全的角度来看，作者设计了一系列新工具，从一组启发式混淆方法中产生可证明的有用隐私保证，包括矩阵掩码、数据混合和排列，通过噪声扰动。在PAC隐私框架下，作者展示了如何量化建立在混淆和扰动方法之上的可学习混淆泄露，对抗对手的推理攻击。与现有的评估方法相比，在隐私与数据重建和成员推理攻击方面，实现了明显提高的效用-隐私权衡。
Reconstruction Attack（重建攻击）
指攻击者试图从混淆后的数据中还原出原始数据内容。如果对手对数据分布或编码过程有较多的先验知识，现有的启发式方法往往无法抵抗这样的攻击。
非平凡的、保持性质的转换
非平凡：指混淆后的数据不是完全随机噪声，仍然保留有用信息。
保持性质：指转换后的数据在某些方面保持与原始数据一致的统计性质或结构，便于训练机器学习模型。
密码计算安全性
指在最坏情况下，即使攻击者拥有无限计算能力，也无法破解数据的隐私性。
信息理论安全
更强的一种安全性保证，指即使攻击者有无限计算能力和一些先验知识，也无法推断出原始数据。
PAC隐私框架（Probably Approximately Correct Privacy Framework）
机器学习中一个常用的框架，用来研究模型在有限数据上的表现。作者在这里用这个框架来量化隐私泄露的程度，分析攻击者是否能从混淆后的数据中推断出隐私信息。
效用-隐私权衡（Utility-Privacy Tradeoff）
在隐私保护和数据实用性之间找到平衡是这类研究的核心。效用高意味着数据对模型训练很有帮助，但隐私可能泄露；隐私高则可能降低数据的实用性。作者尝试用更有效的工具，在两者之间找到更好的折衷。

Introduction

在过去的几十年中，机器学习在各种应用中取得了巨大成功，涵盖了从图像分类和自然语言处理到个性化推荐等多个领域。这种令人印象深刻的进步，特别是在深度学习的发展方面，很大程度上得益于能够访问广泛的代表性数据集和训练复杂模型的计算能力。因此，与数据隐私和实施效率相关的担忧已经成为焦点，引起了安全和密码学界的广泛关注。在云计算和协作计算中出现的一个关键挑战是私下发布数据并将计算密集型的训练任务外包给一些不受信任的服务器。预期该过程能够同时保护敏感数据和训练后的模型的隐私，同时保持低实施和通信开销。从广泛的角度来看，在敏感数据发布和学习领域存在两个主要应用。第一个涉及使用私有数据训练公开模型：用户秘密将其数据转换为编码私有版本，从中学习模型，其效用或准确性定义为识别原始数据分布的能力。这种情况是(Local)差分隐私((L)DP)¹^,²和Instahide³考虑的。例如，可以发布一组扭曲的猫和狗图像，适当地保护每个个体的隐私；当噪声不大时，他人仍然可以从修改后的数据中学习分类器，以识别未经扭曲的猫狗图片。众所周知，在这种设置中，无论应用什么样的编码协议，数据隐私都必须与效用进行权衡。
类似的论点，即“隐私不可能不带有效用损失”，也已经从(L)DP的角度提出¹^,²。Instahide中介绍的混淆方法声称可以避免对效用的妥协，但已经被破解⁴，其理论上的漏洞也已经被研究。直觉是，如果在编码数据上进行训练的模型需要为原始样本表现良好，转换应确保原始数据和编码数据之间具有实质的相似性。除了这种严格的限制，它还暗示着对手可能可以无限制地访问原始样本域中的公共数据，因为标签的含义和学习任务对对手是公开已知的。第二个重要的应用是从私有数据中训练一个秘密模型，这是本文的核心关注点。第二个应用是前面讨论的前一个应用的特殊情况，其中包括额外的秘密密钥。用户首先使用秘密密钥对其数据进行编码，然后将编码数据发送到一个不受信任的服务器。在编码数据上训练的模型不一定为服务器所知（可能已加密），也不需要为原始数据工作；只有拥有密钥的用户才能应用该模型进行有意义的预测。本文中系统化的可学习混淆的概念属于这一类别。
传统的解决第二个应用程序的方法是基于全同态加密（Fully Homomorphic Encryption）⁵。FHE提供了一个通用框架，用于在加密数据上进行计算，随后可以转换回明文。在学习领域，所有训练计算都可以在加密数据上执行，同时中间计算和最终计算的模型都是加密的。只有拥有密钥的用户才能解密计算出的加密模型。因此，在旨在学习秘密模型的情况下，FHE表明计算安全性不一定与模型的效用或准确性相冲突，因为用户最终可以获得与本地训练时相同的模型。虽然从理论上讲，这个框架允许任何操作，并且已经进行了许多算法进展以优化性能，但最先进的FHE甚至部分同态加密协议仍然具有显著的计算和通信开销这阻碍了它们在中等或大规模数据集上训练深度神经网络的部署。（基于全同态加密的隐私保护通信和计算开销是较大的）
为了克服全同态加密的固有限制，许多启发式方法正在探讨设计替代解决方案，一种理想的情况是对编码数据的计算不对学习者/服务器保密：它允许直接在编码数据上使用标准优化方法训练模型，例如通过随机梯度下降（SGD）的经验风险最小化（ERM），从而使计算开销接近非私有机器学习的水平。
学习的本质在于从数据中提取有用的特征，而这些特征与原始数据的具体表示方式无关。
只要一个数据集能够捕获原始数据分布的关键特性，就可以用来训练出有效的机器学习模型。
由此引出一个问题：是否可以设计一种秘密编码函数，转换原始数据集为一个新数据集，既能满足隐私要求，又能保留统计学习的效用？
可学习混淆的设计目标：
将数据通过编码转换到一个新的领域（可能完全不同于原始领域）。
新数据集的特点：
统计学习可行性：转换后的数据可以直接用于标准学习算法（例如SGD）。
隐私性：对手很难从转换后的数据中推测出原始数据的内容。
为了开发有用且轻量级的可学习混淆，一个自然的想法是基于某些函数类随机和均匀地转换数据域，其中某些数据点的拓扑或局部性得以保留。大多数现有的可学习混淆提案遵循这一思路，主要依赖于以下三类（的组合）混淆。

Matrix Masking（随机线性投影）：正如著名的约翰逊-林登斯特劳斯（JL）引理⁶所示，适当选择的随机线性算子（例如，高斯矩阵）可以为高维空间中的一组点产生高效嵌入，几乎保持它们之间的相对距离。随机线性投影也在压缩感知和局部敏感哈希[33]中起着重要作用。由于其良好的统计特性和简单的实现，随机线性投影在文献中也被称为矩阵掩码⁷^,⁸，以及其变体，例如具有随机权重的多层感知器，被视为可学习混淆的理想构造，并被实证工作如TransNet⁹，NeuraCrypt¹⁰和Syfer¹¹采用。
Data Mixing（数据混合）：扎根于Mixup¹²，这是一种成功的数据增强方法，考虑训练网络时混合虚拟样本，Instahide³则是首次尝试通过考虑它们的随机线性插值来混淆数据。具体而言，给定一组随机选择的𝑘个样本{(𝑥₁,𝑦₁),(𝑥₂,𝑦₂),···,(𝑥_𝑘,𝑦_𝑘)}，其中𝑥_𝑖是样本特征，𝑦_𝑖是one-hot-vector标签，生成一个随机权重𝝀=(𝜆₁,···,𝜆_𝑘)，其中𝜆_𝑖≥0并且 $\sum_{i=1}^{k}\lambda_i = 1$ 。通过( $\sum_{i=1}^{k}\lambda_ix_i , \sum_{i=1}^{k}\lambda_iy_i$ )构建一个要释放的虚拟样本( $\tilde{x}$ , $\tilde{y}$ )。数据混合的思想也构建了其他随后的隐私保护协议的基础，如DP-Instahide¹³和Datamix¹⁴。
Permutation（排列）：为了混淆训练数据，另一种策略是排列。排列通常不会损害效用，因为大多数学习算法对馈送给模型的训练样本的顺序不变。NeuraCrypt¹⁰的作者声称启发式挑战，当矩阵掩码和排列结合在一起时，已经知道明文的对手无法恢复它们与编码密文的对应关系。
关于上述混淆方法所涉及的语义隐私的保证仍然未得到广泛解决。事实上，这些方法中没有一种能够产生与输入无关的安全性：在上述任何策略中，对手可以区分完全由零组成的数据集和相邻数据集之间的编码，后者由零组成，除了一个非零数据点。
在这些启发式操作中，只有随机线性投影被认为在强制规范之后提供（弱）差分隐私（DP）保证。缺乏量化隐私泄漏的正式工具已经成为对可学习混淆或甚至广泛功能性（保存属性）数据混淆超出纯噪声扰动的研究的一个关键障碍。现有可学习混淆构造的实际隐私保护能力可能被高估，这并不令人意外。例如，Carlini等人构建了一种基于相似度测量攻击，成功应对了NeuraCrypt提出的标识挑战。
鉴于现有可学习混淆提议的失败，并与唯一已知的通过FHE可以提供安全性解决方案相对立，一个基本问题浮现：为了实现加密安全，是否有必要对编码数据进行模糊化计算以进行安全的外部学习？特别是，考虑到已知的不可能结果，即隐私必须以公共模型的效用为代价进行交换，特别是在用户被允许为秘密模型使用额外秘钥的特殊情况下，理论上是否可以实现非平凡的编码函数同时实现完美的隐私和效用？在本文中，作者首先着手形式化可学习混淆的概念，并着手回答以下三个关键问题：
a）人们可以合理期望从可学习混淆中获得什么样的安全性；
b）如何设计实用的可学习混淆；
c）这种编码何时能够提供有意义的可证明隐私保证？
贡献总结如下：
(1)形式化了可学习混淆的概念，并提出了一个通用的不可能性结果，即在可以直接从编码数据中训练出具有良好编码准确性的非平凡模型时，实现计算安全性是不可能的。这表明，即使在可学习混淆中允许存在秘密密钥，隐私仍然需要与效用进行折衷，类似于公共模型情景。
(2)开发了一系列新工具来量化三种长期启发式混淆方法中的信息泄漏：矩阵掩码、数据混合和排列。通过使用PAC隐私¹⁵在启发式混淆后确定适当的加性噪声，展示了针对通用对抗推理的可证明难度，特别关注重建攻击和成员推理攻击。还提供了直观的解释，说明了这些混淆方法如何以及为什么可以从信息论的角度保存隐私。在适当的预处理之后，与针对数据重建¹⁶和成员推理攻击¹⁷^,¹⁸的最新评估方法相比，可以实现显著改进的效用-隐私折中。通过添加可学习噪声，这些折中进一步得到改进。
(3)指出了可学习混淆对抗逆向工程攻击的潜在应用。在对数据分布做出温和假设的情况下，提出了理论研究。

PRELIMINARIES AND RELATED WORKS

假设两个分布D₀和D₁是可学习的，如果给定访问样本对(𝑥,𝑦)，其中特征𝑥是独立从𝐷_0,1中抽取的，标签𝑦∈{0,1}用于识别来源，一个可以找到一个模型来对新进样本进行分类，作为来自D₀还是D₁；充分的优势通常被称为小的测试错误。一般来说，两个具有大统计距离的分布未必是可学习的，但可学习的分布必须是可区分的。为了正式起见，引入概率近似正确(PAC)学习理论¹⁹如下：
定义1（PAC可学习）。给定数据点空间 $\chi$ ，概念类C={ℎ： $\chi$ →{0,1}}，目标函数（分类器）的集合是PAC可学习的，如果存在一个满足以下条件的多项式时间算法Alg。假设S={（ 𝑥_𝑖，𝑦_𝑖），𝑖=1,2,…，𝑛}是一组𝑛个样本，其中𝑥_[1:𝑛]是由X上的任意分布D生成的i.i.d.，并且对于某些ℎ∈C，𝑦_𝑖=ℎ（𝑥_𝑖）。将S作为Alg的输入，对于任意𝜖>0和𝛿∈（0,1），存在一个函数𝑚（𝜖，𝛿）：（0,1）×（0,1）→Z⁺，使得一旦𝑛≥𝑚（𝜖，𝛿），Alg（S）将返回一个假设 $\tilde{ℎ}$ ∈C，至少以概率1−𝛿，Risk（ $\tilde{ℎ}$ ，ℎ，D）≤𝜖。这里，Risk（ $\tilde{ℎ}$ ，ℎ，D）=Pr𝑥∼D（ $\tilde{ℎ}$ （𝑥）≠ℎ（𝑥））表示从D中随机抽取的𝑥的分布上的测试错误。
PAC学习的基本原理是，当数据通过属于集合C的某个函数ℎ生成时，一旦我们有足够的样本/观测值，就存在一个有效的学习算法Alg以高概率返回一些 $\tilde{ℎ}$ ，使得 $\tilde{ℎ}$ 的测试错误Risk( $\tilde{ℎ}$ ,ℎ,D)很小。在实践中，特别是在深度学习中，我们通常考虑应用神经网络架构来近似概念类别C，其中学习 $\tilde{ℎ}$ 变成了优化神经网络的参数/权重。

LEARNABLE OBFUSCATION

BARRIER TO LEARNABLE OBFUSCATION

DATA PAC PRIVACY OF LEARNABLE OBFUSCATION

HARDNESS OF REVERSE ENGINEERING

EXPERIMENTS

ADDITIONAL RELATED WORK

CONCLUSION

John C Duchi, Michael I Jordan, and Martin J Wainwright. 2013. Local privacy
and statistical minimax rates. In 2013 IEEE 54th AnnualSymposium on Foundations
ofComputer Science. IEEE, 429–438. ↩︎ ↩︎
Cynthia Dwork. 2006. Differential privacy. In International colloquium on au-
tomata, languages, and programming. Springer, 1–12. ↩︎ ↩︎
Yangsibo Huang, Zhao Song, Kai Li, and Sanjeev Arora. 2020. Instahide: Instance-
hiding schemes for private distributed learning. In International Conference on
Machine Learning. PMLR, 4507–4518. ↩︎ ↩︎
N. Carlini, S. Deng, S. Garg, S. Jha, S. Mahloujifar, M. Mahmoody, A. Thakurta,
and F. Tramer. 2021. Is Private Learning Possible with Instance Encoding?. In 2021
IEEE Symposium on Security and Privacy (SP). IEEE Computer Society, 410–427.
https://doi.org/10.1109/SP40001.2021.00099 ↩︎
Craig Gentry. 2009. Fully homomorphic encryption using ideal lattices. In Proceed-
ings ofthe forty-first annual ACMsymposium on Theory ofcomputing. 169–178. ↩︎
Kasper Green Larsen and Jelani Nelson. 2017. Optimality of the Johnson-
Lindenstrauss lemma. In 2017 IEEE 58th Annual Symposium on Foundations of
Computer Science (FOCS). IEEE, 633–638. ↩︎
A Adam Ding, Guanhong Miao, and Samuel SWu. 2020. On the privacy and utility
properties of triple matrix-masking. The Journal ofprivacy and confidentiality
10, 2 (2020). ↩︎
Daniel Ting, Stephen E Fienberg, and Mario Trottini. 2008. Random orthogonal
matrix masking methodology for microdata release. International Journal of
Information and Computer Security 2, 1 (2008), 86–105. ↩︎
Qijian He, Wei Yang, Bingren Chen, Yangyang Geng, and Liusheng Huang. 2020.
Transnet: Training privacy-preserving neural network over transformed layer.
Proceedings ofthe VLDB Endowment 13, 12 (2020), 1849–1862. ↩︎
Adam Yala, Homa Esfahanizadeh, Rafael GL D’ Oliveira, Ken R Duffy, Manya
Ghobadi, Tommi S Jaakkola, Vinod Vaikuntanathan, Regina Barzilay, and Muriel
Medard. 2021. NeuraCrypt: Hiding Private Health Data via Random Neural
Networks for Public Training. arXiv preprint arXiv:2106.02484 (2021). ↩︎ ↩︎
Adam Yala, Victor Quach, Homa Esfahanizadeh, Rafael GL D’Oliveira, Ken R
Duffy, Muriel Médard, Tommi S Jaakkola, and Regina Barzilay. 2022. Syfer: Neural
obfuscation for private data release. arXiv preprint arXiv:2201.12406 (2022). ↩︎
Hongyi Zhang, Moustapha Cisse, Yann N Dauphin, and David Lopez-Paz. 2018.
mixup: Beyond Empirical Risk Minimization. In International Conference on Learn-
ing Representations. ↩︎
Eitan Borgnia, Jonas Geiping, Valeriia Cherepanova, Liam Fowl, Arjun Gupta,
Amin Ghiasi, Furong Huang, Micah Goldblum, and Tom Goldstein. 2021. DP-
instahide: Provably defusing poisoning and backdoor attacks with differentially
private data augmentations. arXiv preprint arXiv:2103.02079 (2021). ↩︎
Zhijian Liu, Zhanghao Wu, Chuang Gan, Ligeng Zhu, and Song Han. 2020.
DataMix: Efficient Privacy-Preserving Edge-Cloud Inference. In Computer Vision
– ECCV2020. Springer International Publishing, 578–595. ↩︎
Hanshen Xiao and Srinivas Devadas. 2023. PAC Privacy: Automatic Privacy
Measurement and Control ofData Processing. In Advances in Cryptology–CRYPTO
2023: 43rd Annual International Cryptology Conference. arxiv:2210.03458. ↩︎
Borja Balle, Giovanni Cherubin, and Jamie Hayes. 2022. Reconstructing training
data with informed adversaries. In 2022 IEEE Symposium on Security and Privacy
(SP). IEEE, 1138–1156. ↩︎
Reza Shokri, Marco Stronati, Congzheng Song, and Vitaly Shmatikov. 2017. Mem-
bership inference attacks against machine learning models. In 2017 IEEE sympo-
sium on security and privacy (SP). IEEE, 3–18. ↩︎
Anvith Thudi, Ilia Shumailov, Franziska Boenisch, and Nicolas Papernot. 2022.
Bounding membership inference. arXiv preprint arXiv:2202.12232 (2022). ↩︎
Leslie G Valiant. 1984. A theory of the learnable. Commun. ACM 27, 11 (1984),
1134–1142. ↩︎