【论文阅读】Comments on “VERSA: Verifiable Secure Aggregation for Cross-Device Federated Learning”

来源

题目	Comments on “VERSA: Verifiable Secure Aggregation for Cross-Device Federated Learning”
来源	2024 TDSC
作者	Fucai Luo, Haiyan Wang, and Xingfu Yan.
单位	鹏城实验室新型网络研究部；南方科技大学

摘要

• 联邦学习（FL）[6]允许大量用户通过仅将其本地梯度发送到中央服务器进行聚合，在每次训练迭代中共同训练机器学习（ML）模型，而无需发送其原始训练数据。FL的主要安全问题，即梯度向量的隐私和聚合梯度的正确性验证，正在受到行业和学术界的越来越多关注。为了保护梯度的隐私，提出了一种安全聚合；为了验证聚合梯度的正确性，提出了一种可验证的安全聚合，要求服务器提供可验证的聚合梯度。
• 在2021年，Hahn等人提出了VERSA，一种可验证的安全聚合（DOI：10.1109/TDSC.2021.3126323）。然而，在本文中，我们将指出VERSA的一个缺陷，这表明VERSA无法正常工作。为了解决这个缺陷，我们提出了几种不同优势和劣势的方法。我们希望通过识别这个缺陷，可以在未来的可验证安全聚合设计中避免类似的错误。

一 INTRODUCTION

• 联邦学习（FL）是一种有前景的协作机器学习（ML）框架，允许模型在敏感的现实数据上进行训练，同时保护其隐私。在FL中，每个用户在其数据上本地训练全局模型的副本，并计算一个本地梯度向量，然后将其发送到一个中央聚合服务器（即聚合器）。服务器聚合这些梯度向量并获得一个聚合梯度，然后将其发送回所有用户。在接收到聚合梯度后，每个用户更新全局模型并继续进行下一次训练迭代。然而，这一FL过程引发了至少以下两个重要的隐私担忧。
  1. 服务器可以通过分析用户的梯度向量来获取有关用户本地训练数据的信息。这种攻击通常被称为推理攻击[7]。
  2. 服务器可能会通过向每个用户提供畸形的聚合梯度任意操控全局模型。特别是，一个“懒惰”的服务器可能会减少聚合操作以节省计算成本，或者更糟糕的是，恶意伪造聚合梯度。
• 针对上述隐私问题，提出了安全聚合[1]和可验证[8]的安全聚合的概念。
• 首个安全聚合协议是由Bonawitz等人提出的[1]，他们使用了双重遮蔽技术、Shamir的秘密分享（SSS）、密钥协议（KA）和对称加密来保护本地梯度向量的隐私并处理失效问题。最近，Hahn等人[4]在[1]的基础上添加了一个没有可信授权（TA）的验证机制，以确保聚合梯度的正确性。然而，在此评论中，我们表明[4]中的方案由于一个错误而无法工作。

二 PRELIMINARIES

• 由于我们提出的对[4]的密码分析在很大程度上依赖于密钥协商，因此在此对其进行回顾。密钥协商协议包含多项式时间算法 $KA=(KA.Setup,KA.Gen,KA.Agree)$ ，定义如下：

  • $KA.Setup(1^{\lambda })\to KApp$: 输出一个公共参数 $KApp$。
  • $KA.Gen(KApp)\to (p{k}_u,s{k}_u)$: 为任何用户 $u$ 输出一对公钥/私钥 $(p{k}_u,s{k}_u)$ 。
  • $KA.Agree(s{k}_u,p{k}_v)\to s_{u,v}$: 输出共享秘密密钥 $s_{u,v}$。

• 上述关键协议满足以下要求：

  1. 正确性。对于任何 $(p{k}_u,s{k}_u),(p{k}_v,s{k}_v)\leftarrow KA.Gen(KApp)$，我们有 $KA.Agree(s{k}_u,p{k}_v)=KA.Agree(s{k}_v,p{k}_u)$。
  2. 在诚实但好奇模型中的安全性。对于任何 $(p{k}_u,s{k}_u),(p{k}_v,s{k}_v)\leftarrow KA.Gen(KApp)$ 和 $s_{u,v}\leftarrow KA.Agree(s{k}_u,p{k}_v)$，我们有:

     $s_{u,v}{\approx }_{c}r$

• 对于任何被给予公钥 $(p{k}_u,p{k}_v)$ 的概率多项式时间 (PPT) 对手来说，其中 $r$ 是一个均匀随机字符串 $“{\approx }_c”$ 表示这两个分量在计算上是不可区分的。

• 像 [1] 一样，Hahn 等人 [4] 也使用了包含哈希函数的 Diffie-Hellman 密钥协商方案 [3]。也就是说，$KA.Setup(1^{\lambda })\to (\mathbb{G},q,g,H)$ 采样一个素数阶 $q$ 的群 $\mathbb{G}$，以及一个生成元 $g$ 和一个哈希函数 $H$；$KA.Gen(\mathbb{G},q,g,H)\to (x_u,g^{x_u})$ 采样一个随机元素 $x_u\leftarrow {\mathbb{Z}}_q$ 作为私钥 $s{k}_u$，并计算 $g^{x_u}$ 作为公钥 $p{k}_u$；而 $KA.Agree(x_u,g^{x_v})\to s_{u,v}$ 输出 $s_{u,v}=H((g^{x_v}{)}^{x_u})$。

三 VERIFIABLE SECURE AGGREGATION

• 安全聚合是以一种安全的方式计算多方总和的问题，用户在此过程中不向任何人（甚至聚合者）明示其输入向量，也就是说，聚合者（例如服务器）计算 $x={\sum }_{u\in U}{x}_u$ 而不学习其他任何信息，每个用户也一无所知，其中 $x_u$ 是用户 $u\in U$ 的私有向量（$U$ 是用户集合）。Bonawitz 等人 [1] 提出了高度依赖密钥协商方案的双重掩蔽技术，以解决上述安全聚合问题。
• 可验证的安全聚合是安全聚合与上述聚合向量 $x$ 的正确性验证的结合，换句话说，除了以安全的方式计算总和 $x$ 之外，聚合者还向用户证明他/她诚实地计算了总和 $x$ （即他/她提供了总和正确性的“证明”）。

四 REVIEW OF HAHN et al.’S VERSA

• 在[4]中，作者提出了VERSA，使用了双重遮蔽技术、Shamir秘密共享（SSS）、密钥协商（KA）方案、对称加密和伪随机生成器（PRG）。从结构上看，VERSA由两个组成部分构成：一个与[1]中相同的安全聚合协议，以及一个依赖于KA方案和PRG的验证机制。但与其他可验证的安全聚合协议不同，作者在[4]中声称他们提出的验证机制不需要信任代理（TA）。因此，VERSA的创新之处在于其验证机制不依赖于TA。接下来，我们将回顾该验证机制并指出其中的一个错误。

• 在VERSA中的验证机制[4]。 在VERSA中，服务器需要计算一个总和和该总和的“证明”。为了生成这样的证明，用户需要提供他们的掩码输入以及一些相应的辅助信息，以帮助服务器生成总和正确性的“证明”。更准确地说，给定输入向量 $x_u$ ，每个用户 $u$ 计算并发送两个掩码向量 $y_u、{\bar{y}}_u$（使用双重掩码技术；我们建议读者参考[1]，[4]获取技术细节），其中 $y_u$ 是 $x_u$ 的掩码向量，${\bar{y}}_u$ 是 $F(x_u)=a\circ x_u+b$ 的掩码向量（其中 $\circ$是哈达玛乘积）。两个向量 $(a,b)$ 是隐藏于服务器的秘密向量，所有用户可以计算同一对向量 $(a,b)$ 。在接收到 $y_u、{\bar{y}}_u$ 后，服务器计算并返回总和 $z={\sum }_{u\in U}{y}_u$ 和证明 $\bar{z}={\sum }_{u\in U}{\bar{y}}_u$，其中$z={\sum }_{u\in U}{x}_u$和 $\bar{z}=a\circ {\sum }_{u\in U}{x}_u+|U|\cdot b$ 。每个在线用户通过检查以下等式Eq(1):是否成立来验证 $z$ ：

  • $\bar{z}\stackrel{\text{?}}{=}a\circ z+|U|\cdot b$

• 现在让我们关注一下文献[4]中的作者是如何构建两个向量 $(a,b)$ 的。

• 作者提出了以下方法：由于在 VERSA 的安全聚合协议中，每个用户 $u$ 都与所有存活用户 $v\in U$ 的公钥在本地运行 KA 方案，以计算一组秘密值 { s u , v } v ∈ U \{s_{u,v}\}_{v \in U} {su,v​}v∈U​ 来掩码其输入向量，其中 $s_{u,v}\leftarrow KA.Agree(s{k}_u,p{k}_v)$ 对于 $v\in U$，用户 $u$ 计算 $\alpha ={\sum }_{u\in U}{s}_{u,v}$ 以及：

  • $a=PRG(\alpha ||0),b=PRG(\alpha ||1)$ .

• 每个存活的用户 $v$ 可以从 { s v , u } u ∈ U \{s_{v,u}\}_{u \in U} {sv,u​}u∈U​ 中推导出 $\alpha$ 并生成 $(a,b)$，从而验证 Eq.(1)。

• 根据上述验证机制和Eq(1)，每个存活用户 $v$ 需要使用上述方法计算相同的一对向量 $(a,b)$ 。换句话说，由于这两个向量 $(a,b)$ 是由$\alpha$ 决定的，验证机制要求，对于任何 $\alpha ={\sum }_{v\in U}{s}_{u,v}$ 和 ${\alpha }^{\prime }={\sum }_{u\in U}{s}_{v,u}$，由任意两个用户 $u$ 和 $v$ 分别计算，必须满足以下等式Eq(2)：

  • $\alpha ={\alpha }^{\prime }$.

• 然而，我们认为Eq(2)不成立。对于两个用户 $u$ 和$v$，他们只能通过运行KA方案计算出一个唯一的共享值，该共享值是相同的，即 $s_{u,v}=s_{v,u}$ 成立，其中共享值 $s_{u,v}\leftarrow KA.Agree(s{k}_u,p{k}_v)$ ，$s_{v,u}\leftarrow KA.Agree(s{k}_v,p{k}_u)$ 分别由用户 $u$ 和 $v$ 计算。换句话说，除了 $s_{u,v}$ 和 $s_{v,u}$ 相等之外，其他共享值在 { s u , v } v ∈ U \{s_{u,v}\}_{v \in U} {su,v​}v∈U​和 { s v , u } u ∈ U \{s_{v,u}\}_{u \in U} {sv,u​}u∈U​中可能不相等，因为其他共享值是由其他对应用户的公钥计算得出的；例如，我们不能从KA的安全性保证 $s_{u,w}=s_{v,w}$（回想一下，使用的KA是一个双方密钥协商协议；参见第二节），其中$s_{u,w}\leftarrow KA.Agree(s{k}_u,p{k}_w)$，$s_{v,w}\leftarrow KA.Agree(s{k}_v,p{k}_w)$ 。我们还提供以下Toy Example来说明上述断言。因此，由于Eq(2)不成立，验证机制无法正常工作。

• Toy Example 。为简化起见，我们假设有三个 $u,v,w\in U$，旨在计算相同的 $\alpha$。通过私钥 $s{k}_u$ 和公钥 $p{k}_v$、$p{k}_w$，用户 $u$ 可以通过运行 KA 计算两个共享值 $s_{u,v}\leftarrow KA.Agree(s{k}_u,p{k}_v)$，$s_{u,w}\leftarrow KA.Agree(s{k}_u,p{k}_w)$，并得出 ${\alpha }_u=s_{u,v}+s_{u,w}$ 样，用户 $v$ 可以计算两个共享值 $s_{v,u}\leftarrow KA.Agree(s{k}_v,p{k}_u)$，$s_{v,w}\leftarrow KA.Agree(s{k}_v,p{k}_w)$ ，并得出 ${\alpha }_v=s_{v,u}+s_{v,w}$，而用户 $w$ 可以计算两个共享值 $s_{w,u}\leftarrow KA.A(s{k}_w,p{k}_u)$ ，$s_{w,v}\leftarrow KA.Agree(s{k}_w,p{k}_v)$ ，并得出 ${\alpha }_w=s_{w,u}+s_{w,v}$。根据 KA 的正确性，我们有 $s_{u,v}=s_{v,u}$，$s_{u,w}=s_{w,u}$，,$s_{v,w}=s_{w,v}$。将这些结合起来，对于 ${\alpha }_u$, ${\alpha }_v$, ${\alpha }_w$，当且仅当 $(s_{u,w}=s_{v,w}$, $s_{v,u}=s_{w,u}$) 成立时，等式 ${\alpha }_u={\alpha }_v={\alpha }_w$ 成立，而由于 KA 的安全性，这种情况发生的概率极小。换句话说，${\alpha }_u={\alpha }_v={\alpha }_w$ 成立的概率极小。

• 建议。 作为一种双方密钥协商协议，KA无法用于超过2方计算相同的值 $\alpha$ 。我们提供以下替代解决方案：

  1. 多方密钥协商协议[5]；
  2. 多方计算协议[2]；
  3. 使用可信任的机构来分发该值 $\alpha$。

• 然而，请注意，（1） 需要大量的计算；（2）需要更多的通信轮次和流量；（3）始终是一个强假设。因此，用户可以权衡利弊，然后选择合适的方法。

五 CONCLUSION

通过数学分析，我们展示了 VERSA 的缺陷。此外，我们提供了几种替代解决方案，这意味着建立一个高效的可验证安全聚合协议并不容易，而不依赖于信任的第三方（TA）。作为一项次要贡献，本文也表明，在没有 TA 的情况下构建高效的可验证安全聚合仍然是一个具有挑战性的问题。

---

参考文献

[1]: K. Bonawitz, V. Ivanov, B. Kreuter, A. Marcedone, H. B. McMahan, S. Patel, D. Ramage, A. Segal, and K. Seth. Practical secure aggregation for privacy-preserving machine learning. In B. M. Thuraisingham, D. Evans, T. Malkin, and D. Xu, editors, Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security, CCS 2017, Dallas, TX, USA, October 30 - November 03, 2017, pages 11751191. ACM, 2017.
[2]: R. Cramer, I. Damg ̊ard, and U. M. Maurer. General secure multi-party computation from any linear secret-sharing scheme. In B. Preneel, editor, Advances in Cryptology - EUROCRYPT 2000, International Conference on the Theory and Application of Cryptographic Techniques, Bruges, Belgium, May 14-18, 2000, Proceeding, volume 1807 of Lecture Notes in Computer Science, pages 316–334. Springer, 2000.
[3]: W. Diffie and M. Hellman. New directions in cryptography. IEEE transactions on Information Theory, 22(6):644–654, 1976.
[4]: C. Hahn, H. Kim, M. Kim, and J. Hur. Versa: Verifiable secure aggregation for cross-device federated learning. IEEE Transactions on Dependable and Secure Computing, 2021.
[5]: M. Just and S. Vaudenay. Authenticated multi-party key agreement. In K. Kim and T. Matsumoto, editors, Advances in Cryptology - ASIACRYPT ’96, International Conference on the Theory and Applications of Cryptology and Information Security, Kyongju, Korea, November 3-7, 1996, Proceedings, volume 1163 of Lecture Notes in Computer Science, pages 36–49. Springer, 1996.
[6]: J. Konecn ́y, H. B. McMahan, F. X. Yu, P. Richt ́arik, A. T. Suresh, and D. Bacon. Federated learning: Strategies for improving communication efficiency. CoRR, abs/1610.05492, 2016.
[7]: R. Shokri, M. Stronati, C. Song, and V. Shmatikov. Membership inference attacks against machine learning models. In 2017 IEEE Symposium on Security and Privacy, SP 2017, San Jose, CA, USA, May 22-26, 2017, pages 3–18. IEEE Computer Society, 2017.
[8]: G. Xu, H. Li, S. Liu, K. Yang, and X. Lin. Verifynet: Secure and verifiable federated learning. IEEE Trans. Inf. Forensics Secur., 15:911–926, 2020.