纵向联邦线性模型在线推理过程中成员推断攻击的隐私保护研究

纵向联邦线性模型在线推理过程中成员推断攻击的隐私保护研究

尹虹舒, 周旭华, 周文君

中国电信股份有限公司研究院安全技术研究所，上海 201315

摘要：随着大数据的发展以及数据安全相关法规的出台，人们的隐私保护意识逐渐加强，“数据孤岛”现象愈发严重。联邦学习技术作为解决该问题的有效方法之一，已成为当下备受关注的热点。在纵向联邦学习在线推理过程中，当前的主流方法并未考虑对数据标识的保护。针对此问题，提出一种适用于纵向联邦线性模型在线推理过程中的成员推断攻击的隐私保护方法，通过构造具有假阳率的过滤器来避免对数据标识的精确定位，从而保证数据的安全性；使用同态加密实现在线推理过程的全密态，保护中间计算结果；根据同态加密的密文倍乘性质，使用随机数乘法盲化操作，保证最终推理结果的安全性。该方案进一步提高了纵向联邦学习在线推理过程中用户隐私的安全性，且具有更低的计算开销和通信开销。

关键词： 联邦学习 ; 纵向联邦线性模型 ; 在线推理 ; 部分同态加密 ; 数据盲化

论文引用格式：

尹虹舒, 周旭华, 周文君. 纵向联邦线性模型在线推理过程中成员推断攻击的隐私保护研究[J]. 大数据, 2022, 8(5): 45-54.

YIN H S, ZHOU X H, ZHOU W J. Research on privacy preservation of member inference attacks in online inference process for vertical federated learning linear model[J]. Big Data Research, 2022, 8(5): 45-54.

0 引言

随着大数据的迅速发展以及数据安全相关法规的出台，人们对数据安全与隐私保护的意识逐渐加强，企业之间的数据共享变得愈加困难，“数据孤岛”现象愈发严重。联邦学习是目前在保护数据隐私前提下解决“数据孤岛”问题的有效方式。联邦学习能在将各方数据保存在本地的同时进行模型训练，降低了隐私泄露的风险。在实际应用中，联邦学习分为3种，分别是横向联邦学习、纵向联邦学习、联邦迁移学习。其中，纵向联邦学习在数据赋能、数据变现等场景中的应用较为普遍，受到了越来越多的关注，它表现为各方数据集的用户重叠部分较大，用户特征重叠部分较小，例如在金融领域中，银行与电商之间的联合建模能更准确地识别信贷风险。

纵向联邦学习在应用过程中可分为两个阶段：联邦模型训练和联邦在线推理。参与联邦建模的机构（即数据拥有方，后文均称之为参与方）先进行加密样本对齐与加密模型训练，此过程被称为联邦模型训练；在完成模型训练并建立预测模型后，后续的预测由参与方在各自的数据上使用模型参数计算结果，这一预测过程被称为联邦在线推理。

以两个参与方的场景为例，预测发起方（以下简称发起方）开展在线推理时，需要将包含数据标识的请求体发送给另一个参与方（后文均称之为响应方），响应方根据请求体中的数据标识查找己方对应的数据，并使用模型参数计算部分预测结果，然后将该部分预测结果返回给发起方；与此同时，发起方计算己方的部分预测结果，并与响应方的部分预测结果进行合并，从而完成整个在线推理过程。该合并结果即完整的预测结果。

目前联邦模型训练阶段的安全性已被广泛研究，而联邦在线推理阶段的安全性研究相对较少。在上述纵向联邦在线推理过程中，预测请求的请求体内包含的数据标识可能会让响应方直接定位到具体的用户，再结合联合建模的业务特点，响应方很容易推测出业务背后隐含的用户需求，导致用户隐私泄露，如用户是否有贷款需求。

可以发现，纵向联邦在线推理过程中有用户隐私泄露的可能性，针对此问题以及现有研究的不足，本文提出一种面向纵向联邦线性模型在线推理过程中的成员推断攻击的隐私保护方法，对传输过程中的数据标识进行处理，并优化现有方案，进而避免用户隐私泄露。

1 相关工作

在联邦学习技术中，当前的安全性研究主要集中在训练阶段，作为联邦学习的最后一环，在线推理阶段在实际应用场景中的使用频率最高，然而该阶段中的数据安全性问题仍然存在。

1.1 联邦学习用户隐私保护的国内外研究现状

1.1.1 模型训练阶段

目前针对联邦学习的隐私安全问题，诸多研究专注于联邦学习的训练过程。Nasr M等人基于模型训练的参数泄露，利用随机梯度下降的隐私漏洞提出了一种推理攻击算法。罗丹等人提出了一种应用差分隐私技术保护模型训练过程中的参数的方法，通过合理分配隐私预算实现用户隐私保护。对于隐私攻击方式，Barreno M等人提到了规避/探索攻击，此类攻击方式会导致输出一个错误的结果，或者通过收集关于模型特征的信息进行攻击。Bouacida N等人讨论了联邦学习工作流程中涉及的多种隐私泄露情况，包括通信状态中模型被恶意替换、梯度泄露、通过模型参数或训练数据来破坏训练过程、篡改聚合模型更新、聚合算法配置错误等，因此依旧需要相关安全策略来降低隐私泄露的风险。

1.1.2 在线推理阶段

Luo X J等人研究了纵向联邦学习在线推理阶段的