论文笔记—联邦学习中的隐私保护研究进展

联邦学习中的隐私保护研究进展

论文对当前联邦学习中常用的一些隐私保护方法进行了分析总结，主要包括安全多方计算、同态加密、差分隐私。

但是其中貌似有些问题，论文中指出纵向联邦是主要针对各参与方的数据有相同或相似的特征空间但样本不同的情况，并举了个例子：两家来自不同地域的银行。

在杨强教授团队编写的《联邦学习》中文版书中，该概念指的却是横向联邦。（针对类似概念建议参考该书中的内容）

https://blog.csdn.net/GJ_007/article/details/103010762

其中的纵向联邦和横向联邦概念解释恰好和上面书中的概念写反了。

不过论文重点是联邦学习中的隐私保护方法，

攻击模式

重构攻击：攻击者可以通过逆向学习的方式重构部分甚至全部的原始数据。

推理攻击：与重构攻击类似，但推理攻击更关心还原数据中的某一项具体信息。

例如：成员推理攻击，判断具体的数据点或数据集是否已被用于训练；

           属性推理攻击，判断其他参与者所用的数据中是否包含某项属性。

窃取攻击：攻击者主动对模型注入后门代码或是受污染数据，直接获取或学习其他参与者的数据。https://blog.csdn.net/GJ_007/article/details/106917341

隐私保护方法

加密类：

（1）安全多方计算

无可信第三方参与，提供一套完整的零知识证明。目前没有工作将SMC完全引入联邦学习中。已有论文提出一种支持两名参与者在半诚实假设下进行机器学习的SMC协议。

（2）同态加密

分布式学习中已经应用了HE算法，目前HE不能直接应用到联邦学习中。

数据扰动类：在数据中心添加随机噪声，轻量化但是影响模型的准确率。

（1）差分隐私

（2）k-匿名

 

本地化差分隐私无需可信第三方，数据在本地进行加扰，但是会影响数据的可用性。

中心化差分隐私和分布式差分隐私都需要可信第三方，可信执行环境（TEE）可以作为一种解决方案，但是目前TEE架构仅能访问CPU资源，而无法访问机器学习常用的CPU资源。

挑战

目前已有研究证明在联邦学习中引入可靠的差分隐私机制，意味着对参与者需求量将会增加2至3个数量级，这会极大地增加通信成本。

未来研究需关注隐私性、可用性与数据量三者的平衡。

当前出现了一种对通信成本与准确性之间进行表征的方式，可以对一定带宽下进行分布式统计或学习的速率进行评估。目前尚未应用到联邦学习中。