学习笔记——Helen: Maliciously Secure Coopetitive Learning for Linear Models

越来越多的组织倾向于协作学习模型，这样可以获得更多的好处。但是，由于隐私问题和业务问题，他们不能共享明文数据集。本文设计了Helen系统：能够允许多方训练模型、但不显示数据，也就是一个协作学习系统。与先前的安全训练系统相比，它更强大。

目的：想要使用心得应用程序，只训练一方的数据可能不够，它需要多方的数据进行补充。（使用更多的数据训练更好的模型）

挑战：隐私政策、商业竞争

用例：银行用例、医疗用例

银行用例：洗钱者经常利用移动资产来隐藏洗钱；要训练检测洗钱模型，需要不同银行之间的数据。

医疗用例：分发疫苗时，医疗组织希望利用机器学习确定高爆发的地区，这需要不同区域医疗组织的数据；但由于隐私法规，无法共享数据。

协作学习通常设置在MPC（安全多方计算）加密框架内，但这种框架效率低。因此最近新出现的培训系统选择指定协议；但这些新出现的系统都有一个特点——都依赖于外包非串服务器&&并且假设攻击者是被动的、从不偏离协议。这些假设很不现实，因为这基本上要求组织将其数据的保密性建立在其它组织的正确行为之上，但涉及敏感数据方面，他们不相信竞争对手（PS：也就是说他们不相信竞争对手所提供的敏感数据）。

因此，需要更强大的安全保障——每个组织只信任自己而不信任别人。这个目标就要求：在m个参与方下，有一个可能为完全不端行为的情况下，使用恶意安全MPC（多方计算）。（PS：说白了就是相对于以往的系统加了一个条件：能够抵抗不端行为。）

Helen系统——安全可靠的学习平台

支持机器学习和统计问题的重要组成部分：正则化线性模型

包括：最小二乘回归、岭回归、LASSO

特点：稳健性、易于稀释性

应用：癌症研究、基因组学、财务风险分析，是信号处理中基础追踪技术的基础

设想设置：少于10个的组织拥有数十万或数百万的记录，具有较少数量的功能

创新点：通过使用恶意安全的MPC协议实施标准训练算法（例如，随机梯度下降SGD）效率很低；故，采用SPDZ（一个恶意安全的MPC库）实现了SGD。

并且采用以下技术极大的缩短了训练模型所用的周期。

虽然训练过程所需要的时间与样本数成正比，但是可以配置更昂贵的加密计算以独立于样本的数量。

利用分布式凸优化技术，称为交替方向乘法器方法（ADMM）[15]。训练模型采用的算法为SGD，通过迭代输入数据集来优化目标函数。SGD迭代次数与数据样本数量成线性关系；因此，通用MPC框架简单地实现SGD每次迭代都需要昂贵的MPC协议。虽然AMDD在纯文本培训数据方面不太熟欢迎，但它比SGD更适合加密培训。AMDD优点：迭代次数很少。利用ADMM可以大大减少MPC同步操作的数量。此外，ADMM在线性模型下非常有效，因为局部优化问题可以通过封闭形式解决方案来解决。这些方案在加密计算中也很容易表达，而且特别有效。（PS：采用ADMM，不采用SGD）。

但是，在MPC中表达ADMM不能解决可伸缩问题（例如，攻击者可能会偏离协议，设置应该要求协议确保用户的行为正确）。为此，需要证明各方计算中始终使用相同的数据集。

×方法1 ：让每一方都提交整个输入数据集并使用MPC计算summaries。问题：加密算法将在样本上线性缩放；计算summaries需要对MPC内的复杂矩阵求逆

√方法2：进行第二次观察，即每一方都可以使用奇异值分解（SVD）[38]，将其输入摘要分解为仅在特征数量上扩展的小矩阵。每一方都对这些分解的矩阵进行提交，并进行矩阵乘法证明其属性，以避免显示矩阵求逆。

最后，ADMM的一个重要方面是它支持分散计算。每次迭代包含两个阶段：局部优化和协调。局部优化要求解决本地问题；协调阶段要求所有各方将其本地结果同步到一组全局权重中。在MPC中表示这两个阶段将把局部优化编码到由各方完成的计算中，从而失去了原始协议的分散化方面。每一方都知道加密的全局权重，以及自己在明文中提交的summaries。

Helen系统使用部分同态加密来加密全局权重，使每一方能够有效证明它正确地计算了局部优化问题。

原文地址：https://www.computer.org/csdl/proceedings-article/sp/2019/666000a915/19skg6rDmAU