Privacy-Preserving Deep Learning via Additively Homomorphic Encryption

郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！

Abstract

　　我们建立了一个隐私保护的深度学习系统，在这个系统中，许多学习参与者对组合后的数据集执行基于神经网络的深度学习，而实际上没有向中央服务器透露参与者的本地数据。为此，我们重新回顾了Shokri和Shmatikov（ACM CCS 2015）之前的工作，并指出本地数据信息实际上可能泄漏给诚实但好奇的服务器。然后，我们通过构建一个具有以下特性的增强系统来解决这个问题：（1）没有向服务器泄漏任何信息；（2）与普通的深度学习系统相比，在合并的数据集上，精度保持不变。

　　我们的系统是深度学习和密码学之间的桥梁：我们将异步随机梯度下降结合加法同态加密应用于神经网络。我们表明，加密的使用给普通的深度学习系统增加的开销是可容忍的。

 

1　　Introduction

1.1　　Background

　　近年来，深度学习（又称深度机器学习）在学术界和工业界都取得了令人振奋的成果，深度学习系统正在接近甚至超过人类水平的精确性。这要归功于算法上的突破和在处理海量数据时应用于神经网络的物理并行硬件。

　　大量的数据收集，虽然对深度学习至关重要，但也引发了隐私问题。单独而言，收集的照片可以永久保存在公司的服务器上，不受照片所有者的控制。在法律上，隐私和保密方面的担忧可能会妨碍医院和研究中心共享其医疗数据集，使他们无法享受到大规模深度学习联合数据集的优势。

　　作为一项直接相关的工作，Shokri和Shmatikov（ACM CCS 2015）[26]提出了一个隐私保护的深度学习系统，允许多个参与者保留本地数据集，而参与者可以通过联合数据集学习神经网络模型。为了达到这个结果，在[26]中的系统需要如下：每个学习参与者，使用本地数据，首先计算神经网络的梯度；然后，这些梯度的一部分（例如1%~10%）必须发送到参数云服务器。服务器是诚实但好奇的：在提取个人数据时，它被假定是好奇的；然而，在操作中，它被假定是诚实的。

　　为了保护隐私，Shokri和Shmatikov的系统允许了一个准确性/隐私权衡（见表1）：不共享本地梯度会导致完美的隐私，但不会带来理想的准确性；另一方面，共享所有本地梯度会违反隐私，但会导致很好的准确性。为了妥协，在[26]中共享本地梯度的一部分是保持尽可能少的精度下降的主要解决方案。

1.2　　Our contributions

　　我们证明，在Shokri和Shmatikov系统[26]中，即使是存储在云服务器上的一小部分梯度也可以被利用：即可以勉强地从这些梯度中提取本地数据。举例来说，我们在第3节中展示了一些关于一小部分梯度如何泄漏有用的数据信息的样例。

　　然后，我们提出了一个新的深度学习系统，使用额外的同态加密来保护诚实但好奇的云服务器上的梯度。所有梯度都被加密并存储在云服务器上。加法同态属性允许对梯度进行计算。我们的系统如第4节所述，如图4所示，在安全性和准确性方面具有以下特点：

Security. 我们的系统不会向诚实但好奇的参数（云）服务器泄露参与者的信息。

Accuracy. 我们的系统达到与所有参与者联合数据集上训练的相应深度学习系统（异步随机梯度下降，见下文）相同的精度。

　　简言之，我们的系统在这两个方面都享有最好的优势：安全性如密码学，精确性如深度学习。见第4节中的定理1和定理2。

Our tradeoff. 针对云服务器保护梯度会增加学习参与者与云服务器之间的通信成本。我们在表2中表明，增长因子并不大：对于具体数据集MNIST[5]和SVHN[22]，小于3。例如，在MNIST的情况下，如果每个学习参与者需要在每次上传或下载时向服务器传递0.56MB的明文梯度；那么在我们的基于LWE的加密系统中，每次上传或下载时相应的通信成本将变为

它需要大约8毫秒才能通过1 Gbps信道传输。技术细节见第5节和第6节。

　　在计算方面，我们估计使用神经网络的系统在对MNIST数据集进行训练和测试时，大约在2.25小时内完成，以获得约97%的准确度，这与[2]中给出的相同类型神经网络的结果一致。

Discussion on the tradeoffs. 由于我们的系统对好奇的服务器使用了额外的同态加密，我们表明[26]中的准确性/隐私之间的权衡可以转移到我们的效率/隐私中。与普通的深度学习相比，[26]的准确性/隐私权衡可能会使隐私保护的深度学习不那么具有吸引力，因为准确性是该领域的主要吸引力。如果使用更多的处理单元和更专用的编程代码，我们可以解决效率/隐私权衡，保持普通的深度学习准确性不变。

 

1.3　　Technical overviews

　　简单的比较见表1。下面我们将介绍基本的技术特性。

Asynchronous SGD (ASGD) [14, 25], no privacy protection. 我们的系统和[26]的系统都依赖这样一个事实，即神经网络可以通过一个称为异步SGD[14，25]的SGD变体进行训练，该变体具有数据并行性和模型并行性。具体来说，首先对神经网络的全局权重向量W_global进行随机初始化。然后，在每次迭代时，在本地数据集（数据并行性）上运行神经网络的副本，并将相应的本地梯度向量G_local发送到云服务器。对于每个G_local，云服务器随后更新全局参数，如下所示：

其中α是学习率。更新后的全局参数W_global将广播到所有副本，然后由这些副本替换旧的权重参数。更新和广播W_global的过程被重复，直到达到预先定义的成本函数（基于交叉熵或平方误差）所需的最小值。对于模型并行，通过向量W_global和G_local的分量并行计算（1）处的更新。

Shokri-Shmatikov systems. [26][第5节]中的系统可以通过以下原因称为梯度选择性ASGD。在[26][第5节]中，（1）处的更新规则修改如下：

其中，向量包含选择性（即1%~10%）的梯度G_local。使用（2）进行的更新允许每个参与者选择要在全局共享的梯度，以降低将参与者本地数据集上的敏感信息泄漏到云服务器的风险。但是，如第3节所示，即使一小部分梯度也会向服务器泄漏信息。

　　在[26][第7节]，Shokri-Shmatikov展示了一种使用差异隐私来对抗梯度间接泄漏的附加技术。他们的策略是将拉普拉斯噪声添加到（2）中的