MASKCRYPT: Federated Learning with Selective Homomorphic Encryption

来源

TDSC 2024
链接：IEEE
作者：Chenghao Hu, Member, IEEE, Baochun Li, Fellow, IEEE,

Background

• Though vanilla federated learning managed to protect privacy-sensitive data from explicit leakage, the behavior of exposing model weights still raises serious privacy concerns, as adversaries can still breach data privacy with sophisticated attacks such as membership inference and gradient inversion .//成员推断 、 梯度反演 。
• Most existing homomorphic encryption mechanisms in the context of federated learning incurred an exorbitant amount of communication overhead .//同态加密、通信开销

Contribution

1. MASKCRYPT is the first federated learning system that explores the encryption
   sparsity, i.e., encrypting not all but part of the model updates.//加密模型更新的一部分。

   MASKCRYPT对加密算法不具特定依赖；可以采用任何现有的加密机制。

2. Clients may choose different encryption masks due to their own privacy concerns.

   本文引入了一种特殊机制，称为掩码共识（Mask Consensus），以帮助客户端就最终加密掩码达成一致。

3. We propose a gradientguided mechanism to help clients select the encryption mask.
4. We have implemented and evaluated MASKCRYPT in an open-source federated learning framework called PLATO.

Threat Model

• 本文假设服务器是诚实但好奇的，这意味着服务器诚实地执行算法，但会尽可能地从客户端接收到的更新中学习，例如，对报告的模型权重进行推断攻击。
• 本文假设客户端可能会与服务器或其他客户端联合(collude)，进行合谋攻击(collusion attack)。

Mask Consensus

Individual Masking

• 所谓单独掩码，就是每个客户端依据自己的模型更新来选择加密梯度的哪些部分。
• 但是这种加密是无意义的，当不同的客户端加密了不同的部分，当服务器聚合时，聚合结果几乎表现出全加密的效果。

Mask Consensus

• 如果是为了只加密梯度的一部分，依据本文应该加密相同的部分。
• 本文首先定义客户端$k$的掩码为$m^k$，并且认为$m^k[i]$相比$m^k[i-1]$更应该加密，即$m^k$是一个优先级序列。
• 服务器运行算法1得出掩码共识$\bar{m}$。

算法1   Mask Consensus. 掩码共识；

输入：Mask proposals from clients $m^1,...,m^K$,
   encrypt ratio $\rho$

输出：Final mask $\bar{m}$ ;

1. Initialize $m^{\prime }$ as a list of zeros of length $\rho N\times K$;
2. for $k=1,2,...,K$ do
3.   $m^{\prime }[k::M]=m^k$ ▷ Interleave the mask proposals  //按照掩码$m^i$的列为KaTeX parse error: Expected group after '^' at position 2: m^̲'序列赋值
4. end for
5. Remove the duplicated elements in $m^{\prime }$  //移除KaTeX parse error: Expected group after '^' at position 2: m^̲'中的重复值
6. Select top $\rho N$ elements of $m^{\prime }$ as final mask $\bar{m}$;  //选取前$\rho N$的元素组成掩码共识 $\bar{m}$;
7. return $\bar{m}$.

GRADIENT-GUIDED MASK SELECTION

该部分不会写的很详细，若想详细了解请阅读文献原文。
简而言之，梯度引导的掩码选择，就是计算损失函数，然后选择损失函数最小的 $\rho N$ 个元素进行加密。

• 在本文中，作者假设模型加密是一种客户端行为，旨在管理暴露给服务器或其他潜在对手的权重。这一策略最小化了经验上的安全隐患，通过决定哪些部分的模型权重应当受到保护，而其他部分则可以安全地公开。

这样做的目的是让没有训练好甚至是训练得非常差得梯度（表现为损失函数很大）被敌手截获，从而起到降低敌手端推理客户端数据的能力。

• 本文令 $w_{\text{exp},t}^k$ 表示客户端 $k$ 在第 $t$ 轮中暴露的模型权重，令 ${\tilde{w}}_{\text{exp},t}^k$ 表示客户端 $k$ 在本轮训练开始前暴露的权重，令 $w_{\text{exp},t}^k$ 表示客户端 $k$ 在本轮训练结束后暴露的权重，
• 并且$w_{\text{exp},t}^k=\{\begin{array}{ll}& w_t^k[i],i\notin m^k\\ & {\tilde{w}}_{\text{exp},t}^k[i],i\in m^k\end{array}$

---

• 本文定义 $\delta (m^k)[i]=\{\begin{array}{ll}& {\tilde{w}}_{\text{exp},t}^k[i]-w_t^k[i],i\in m^k\\ & 0,i\notin m^k\end{array}$
• 有了 $\delta (m^k)[i]$ ，就可以把$w_{\text{exp},t}^k$ 优化为：
• $w_{\text{exp},t}^k=w_t^k+\delta (m^k)$

系统架构

系统初始化

• 为了防止一个客户端的密钥被泄露而威胁到其他客户端，MASKCRYPT 在训练开始之前让每个客户端 $k$ 生成一对公私钥 $(p{k}_k,s{k}_k)$，采用同态加密方案。所有客户端之间同步公钥 $p{k}_k$。这允许使用不同的客户端密钥对不同的权重子集进行加密。

本地训练

• 对于第 $t$ 轮，服务器将当前的全局模型权重 $w_{t-1}$ 发送给每个客户端 $k$。客户端 $k$ 在其本地数据集 $D^k$ 上训练模型，获得更新后的权重 $w_t^k$。

模型权重就是客户端所用神经网络的模型参数。

掩码共识

• 客户端 $k$ 分析 $w_t^k$ 以确定哪些条目最为敏感，并基于当前模型计算掩码提议 $m^k$。客户端将提议发送至服务器进行掩码共识计算，从而生成最终掩码 $\bar{m}$。

模型加密

• 客户端获得掩码共识之后，使用所有客户端的公钥对需要加密的模型权重进行加密。

• 具体而言，每个客户端 $k$ 将 $\bar{m}$ 均匀地划分为 $K$ 个子集 $I_1,...,I_K$，使得 ${\bigcup }_{j=1}^K{I}_j=\bar{m}$ $ 且 $|I_1|=\cdot \cdot \cdot =|I_K|$。对于每个子集 $I_j$，客户端 $k$ 对 $w_t^k$ 的相应元素进行加密：
  $w_{t,I_j}^k=ENC(w_t^k[i],p{k}_j),\forall i\in I_j$
  其中 $p{k}_j$ 是客户端 $j$ 针对子集 $I_j$ 的公钥。这导致每个客户端 $k$ 生成 $K$ 个加密子集 $w_{t,I_j}^k$，每个子集使用不同的公钥 $p{k}_j$ 进行加密。

• 连同未加密的权重，这构成了客户端 $k$ 发送给服务器的模型更新。
  { w t , I j k ∣ j = 1 , . . . , K } ∪ { w t k [ i ] ∣ ∀ i ∉ m ˉ } \{w_{t,I_j}^k|j=1,...,K\} \cup \{w_t^k[i]|\forall i \notin \bar{m}\} {wt,Ij​k​∣j=1,...,K}∪{wtk​[i]∣∀i∈/mˉ}

• 令 $g$ 表示当前模型在本地数据集上的权重梯度，满足 $g=\nabla L(w_t^k,D^k)$。

• 对于每个掩码 $m^k$ ，我们可以将其对应的 $\delta (m^k)$ 分为两个组成部分：
  $\delta (m^k)=\delta (m^k{)}_g+\delta (m^k{)}_{\perp g}$

• 因此，我们可以将掩码选择转化为以下优化问题：
  
  优化目标可以通过以下方式计算：
  

• 令 $\delta (1)$ 表示在所有模型权重被加密时的模型增量，$v$ 表示 $\delta (1)$ 与 $g$ 的逐元素相乘的结果，使得:
  

• 然后我们有 $\delta (m^k)\cdot g=su{m}_{i=1,...,N}^{}v[i]$ 。为了使其最大化，我们可以将 $v$ 按降序排序，并获得排序后的索引 $v_{ind}$ ，那么前 $\rho N$ 个索引代表对点积结果贡献最大的位置信息。因此，客户端可以自然地选择 $v_{ind}$ 中的前 $\rho N$ 个元素作为掩码选择的解。

• 该方法被称为梯度引导的掩码选择，因为掩码是由当前轮次的梯度决定的。算法2中总结了逐步过程。

算法2 Gradient-guided mask selection.  梯度引导的掩膜选择。

输入：${\tilde{w}}_{\text{exp},t}^k$:Exposed model weights;
   $w_t^k$:Local model weights;
   $D^k$: Local dataset;

输出：Encryption mask $m$;

1. Compute gradients $g=\nabla L(w_t^k,D^k)$;
2. Compute model delta $\delta (1)={\tilde{w}}_{\text{exp},t}^k-w_t^k$;
3. Compute element-wise multiplication $v=g\odot \delta (1)$;
4. Sort $v$ in descending order and obtain indices $v_{ind}$;
5. Select top $\rho N$ elements of $v_{ind}$ as the mask proposal $m^k$;
   return $m^k$

模型聚合

• 由于加密和未加密的权重在客户端的模型更新中是对齐的，服务器可以分别对其进行聚合。它对加密权重 $w_{t,I_j}$ 执行同态操作，并对未加密权重 $w_t[i]$ 进行直接操作。由此得出：
  { w t , I j ∣ j = 1 , . . . , K } ∪ { w t [ i ] ∣ ∀ i ∉ m ˉ } \{w_{t,I_j}|j=1,...,K\} \cup \{w_t[i]| \forall i \notin \bar{m}\} {wt,Ij​​∣j=1,...,K}∪{wt​[i]∣∀i∈/mˉ}
  其中 $w_t[i]|\forall i\notin \bar{m}$ 包含以明文形式呈现的未加密权重的聚合结果。然而，每个 $w_{t,I_j}$ 仍然在客户端 $j$ 的公钥下保持加密状态。为了获得最终的聚合权重，还需要进行一步解密。

模型解密

• 服务器将每个加密的 $w_{t,I_j}$ 发送给客户端 $j$，客户端使用 $s{k}_j$ 进行解密并返回解密后的值。
• 服务器现在持有本轮的完全聚合 $w_t$，这可以用于启动下一轮的学习。

总结

• 该论文提出了一种名为MASKCRYPT的联邦学习框架，旨在保护客户端的数据隐私。
• 该框架使用选择性同态加密来实现这一目标，并引入了mask共识机制来确保所有客户端都使用相同的加密掩码。具体来说，该框架首先为每个客户端生成一对公钥私钥，并在训练开始前同步这些公钥。然后，在本地训练期间，客户端根据当前模型计算出一个加密掩码，并将掩码提案发送到服务器以进行掩码共识。一旦达成共识，客户端会将其选定的权重加密并与未加密的权重一起发送到服务器进行聚合。最后，服务器将聚合后的模型发送回客户端以进行下一轮训练。
• 传统的同态加密方案通常需要在整个模型上应用加密，这会导致通信开销和计算复杂度增加。与此不同的是，MASKCRYPT采用了选择性同态加密的方式，只对一小部分模型更新进行加密处理，从而减少了通信开销和计算复杂度。此外，MASKCRYPT还引入了掩码共识机制，通过协商一致的加密掩码来确保所有客户端使用的都是相同的一小部分加密数据，进一步提高了安全性。
• 传统的联邦学习框架存在数据隐私泄露的风险，因为参与训练的所有客户端都需要将自己的原始数据上传到中央服务器进行处理。而MASKCRYPT提出的框架则可以在不暴露原始数据的情况下完成模型训练，从而有效地解决了这个问题。此外，该框架还可以通过选择性同态加密和掩码共识机制来提高安全性和减少通信开销，进一步增强了其实用性和可行性。