论文学习记录20200313：隐私保护机器学习[NDSS2020]

机器学习工具已经展示了它们在医疗和金融等许多重要领域的潜力，有助于得出有用的推论。在这些部门，数据的敏感和保密性质自然引起对数据隐私的关注。这促使了隐私保护机器学习（PPML）领域的数据隐私得到保证。通常，ML技术需要很大的计算能力，这导致基础设施有限的客户机依赖于安全外包计算（SOC）方法。在SOC环境下，计算外包给一组专门的、功能强大的云服务器，服务按使用付费。在这项工作中，我们探索了在SOC环境中广泛使用的ML算法的PPML技术-线性回归、Logistic回归和神经网络。

文章提出BLAZE，一个在三个服务器设置中的快速的PPML框架，它可以容忍一个环（Z2`）上的恶意损坏。
PPML可以在SOC环境下实现训练和推理。
首先，作为模型所有者的最终用户可以以秘密共享的方式将其经过训练的机器学习模型托管到一组（不受信任的）服务器。作为客户的最终用户可以在相同的服务器之间秘密共享其查询，以允许以共享的方式计算预测，并最终获得预测结果。
其次，多个数据所有者可以在一组（不受信任的）服务器之间以共享方式托管其数据集，并且可以在其联合数据集上训练公共模型，同时保持其单独数据集的私有性。
近年来，许多文献[2]-[6]利用安全多方计算（MPC）技术来解决上述问题，其中不可信的服务器被视为MPC的参与者（或参与方）。在训练的情况下，损坏的服务器可以与任意数量的数据所有者串通，在推断的情况下与模型所有者或客户串通。利用MPC的安全保证，确保最终用户的隐私

解决问题2和3的过渡部分：

对于点积（数量积），向量x和向量y点乘，相当于x中对应的元素与y中对应的元素相乘，然后再相加，这就回到之前那个乘法协议里去了。如果x有n个元素，那就是运行n次，考虑到通信，所以稍作修改，在之前是重构每一个贝塔zi，


对于预处理阶段，我们绘制了BLAZE（图11a）和ABY3长度在100到1000之间的过向量的dot-product协议的吞吐量。我们注意到至少比ABY3有4倍的增益，这是通信改进4倍的结果。这里要做的一个有趣的观察是，与ABY3相比，我们的协议在25Mbps的带宽上提供了更好的吞吐量，即使在75Mbps的更高带宽上也是如此。
对于在线阶段（图11b），我们根据吞吐量绘制ABY3的增益。我们观察到一个可观的吞吐量增益，这是我们的协议独立于向量大小的通信成本的直接推论。具体地说，对于50mbps的带宽，我们的增益在64×到580×之间。注意，随着带宽的增加，增益下降。这是因为即使在25Mbps的带宽下，我们的处理器也无法处理可达到的最大吞吐量。对于8mbps的带宽，可以达到的最大吞吐量在我们的处理能力范围内，我们观察到吞吐量增益在400×到3600×之间。这显示了我们在低端网络上构建的实用性

我们比较了图12中线性回归的吞吐量。图12a示出预处理阶段的吞吐量，图12b示出ABY3上的在线吞吐量增益。由于线性回归主要涉及计算多个点积，因此底层的高效点积协议显著提高了性能。因此，在预处理阶段，我们观察到4倍的增益，而在联机阶段，128个批量的性能增益在9.2×到83.4×之间。对于较大的批量，联机阶段的性能增益显著增加，对于512的批量，性能增益一直高达333倍

Logistic回归分析训练阶段的表现如图12所示。图12c示出了预处理阶段的吞吐量，而图12d示出了在线吞吐量增益。在线性回归中看到的改进也被转移到这个案例中。由于激活功能引起的开销，在预处理和联机阶段都观察到吞吐量的总体下降。在预处理阶段，我们所考虑的最大批量协议比ABY3的最小批量协议有更好的性能。在在线阶段，与ABY3相比，128批次的改进幅度从3.93×到34.43×不等。这一增益的主要原因是我们高效的formsbextraction方法，它需要在线阶段的2轮，而不是ABY3中的1+log’轮通信。与线性回归类似，对于较大的批量，可以观察到在线吞吐量增益的增加。
对于线性回归，我们观察到ABY3在不同带宽上的在线吞吐量增益从14×到216×不等。Logistic回归的各自增益在3×到27×之间。

在这里，考虑具有两个隐藏层的NN，每个隐藏层具有128个节点，其后是10个节点的输出层。 评估每个层后，将应用激活函数ReLU（relu）。 对于25Mbps的带宽，我们的协议可以在一分钟内处理16,866个查询的联机阶段，对于75Mbps的带宽，吞吐量一直上升到50,602个查询/分钟，而对于25Mbps和75Mbps，ABY3可以分别处理70和210个查询/分钟
图15绘制了不同特征尺寸下BLAZE over ABY3的在线吞吐量的增益。 与线性回归和逻辑回归不同，增益不会随着带宽的增加而下降。 这是因为NN发生了巨大的通信，这使得我们的处理能力达到了最大可实现的吞吐量