Faster Key-Switch via Decomposition

参考文献：

1. [BV11] Brakerski Z, Vaikuntanathan V. Fully homomorphic encryption from ring-LWE and security for key dependent messages[C]//Annual cryptology conference. Berlin, Heidelberg: Springer Berlin Heidelberg, 2011: 505-524.
2. [BEHZ16] Bajard J C, Eynard J, Hasan M A, et al. A full RNS variant of FV like somewhat homomorphic encryption schemes[C]//International Conference on Selected Areas in Cryptography. Cham: Springer International Publishing, 2016: 423-442.
3. [HPS19] Halevi S, Polyakov Y, Shoup V. An improved RNS variant of the BFV homomorphic encryption scheme[C]//Topics in Cryptology–CT-RSA 2019: The Cryptographers’ Track at the RSA Conference 2019, San Francisco, CA, USA, March 4–8, 2019, Proceedings. Springer International Publishing, 2019: 83-105.
4. [HK20] Han K, Ki D. Better bootstrapping for approximate homomorphic encryption[C]//Cryptographers’ Track at the RSA Conference. Cham: Springer International Publishing, 2020: 364-390.
5. [KLSS23] Kim, M., Lee, D., Seo, J., Song, Y. (2023). Accelerating HE Operations from Key Decomposition Technique. In: Handschuh, H., Lysyanskaya, A. (eds) Advances in Cryptology – CRYPTO 2023. CRYPTO 2023. Lecture Notes in Computer Science, vol 14084. Springer, Cham.
6. Full-RNS BGV/BFV
7. Full-RNS CKKS

[KLSS23] 改进了 Full-RNS BGV/BFV/CKKS 中的 Key-Switch 过程，通过额外的数字分解，将线性同态运算中数据的规模大幅降低，从而不必对 RNS 表示中的每一个分量都执行 NTT/INTT，从而减少了 KS 的计算复杂性。

Gadget Decomposition and External Product

在各种 FHE 中，gadget toolkit 被广泛用于噪声的控制。

首先，我们定义 Gadget 分解：

这里的向量 $g$ 一般有两种选择方式，

• [BV11] 提出的数字分解：选取 base $B$，定义 $g=(1,B,B^2,\cdots ,B^{l-1})$，其中 $l={\log }_{B}Q$
• [BEHZ16] 提出的 RNS 分解：选取 primes $Q={\prod }_{i=0}^{l-1}{q}_i$，定义 $g=({\hat{q}}_0{q}_0^{\ast },{\hat{q}}_1{q}_1^{\ast },\cdots ,{\hat{q}}_{l-1}{q}_{l-1}^{\ast })$，其中 ${\hat{q}}_i^{\ast }=Q/q_i$ 以及 $q_i^{\ast }=[{\hat{q}}_i^{-1}{]}_{q_i}$

[KLSS23] 同时使用 [BV11] 的分解技术以及 [GHS12] 的提升技术，定义了所谓的 “外积” 运算（分解 + 内积），它是 KS 过程的基础运算。注意到 $R_{\tilde{Q}}$ 是一个 $R$-module，因此内积 $⟨h(a),\vec{u}⟩$ 是良定义的。

下面我们只考虑外积的快速实现，不再区分是使用了 BGV、BFV、CKKS 加密方案。

A New External Product Method

[KLSS23] 的设计思路为：

• 外积运算本身使用了某个 Gadget 向量 $g=(g_0,g_1,\cdots ,g_{d-1})\in R_Q^d$ 及其对应的 Gadget 分解函数 $h:R_Q\to R^d$
• 给定某元素 $a\in R_Q$，把它分解为行矢 $\vec{b}=h(a)=(b_0,\cdots ,b_{d-1})\in R^d$
• 我们额外再使用一个 Gadget 向量 $\tilde{g}=({\tilde{g}}_0,{\tilde{g}}_1,\cdots ,{\tilde{g}}_{\tilde{d}-1})\in R_{\tilde{Q}}^{\tilde{d}}$ 及其对应的 Gadget 分解函数 $\tilde{h}:R_{\tilde{Q}}\to R^{\tilde{d}}$
• 给定某列矢 $\vec{u}\in R_{\tilde{Q}}^d$，把它分解为矩阵 $V=h(\vec{u})=({\vec{v}}_0,\cdots ,{\vec{v}}_{\tilde{d}-1})\in R^{d\times \tilde{d}}$

现在，我们已知 $a=\vec{b}\cdot g(\mathrm{mod}Q)$ 以及 $\vec{u}=V\cdot \tilde{g}(\mathrm{mod}\tilde{Q})$，因此外积运算可以写作：

注意这里的计算结果的模数不是 $Q$ 而是 $\tilde{Q}=PQ$。假设函数 $h$ 分解出的范数上界是 $B$，而函数 $\tilde{h}$ 分解出的范数上界是 $\tilde{B}$，那么系数 $⟨h(a),\tilde{h}(\vec{u}{)}_j⟩$ 的范数上界是（最坏的，能否改成平均的？）：
$$\Vert ⟨\vec{b},{\vec{v}}_j⟩{\Vert }_{\infty }\le dN\cdot \Vert b{\Vert }_{\infty }\cdot \Vert {\vec{v}}_j{\Vert }_{\infty }\le dN\cdot B\tilde{B}$$
因此行矢 $\vec{b}\in R^d$ 以及列矢 ${\vec{v}}_j\in R^d$ 可以嵌入到 $R_{B^{\prime }}^d$ 中计算内积，只要满足 $B^{\prime }>dN\cdot B\tilde{B}$ 即可。选取合适的 $h,\tilde{h}$，使得 $B^{\prime }\ll \tilde{Q}$，然后执行 $R_{B^{\prime }}$ 上的 Double-CRT 运算，所需的 NTT/INTT 数量大幅减少。

因为这完全是算法上的改进，因此对噪声增长没有任何影响。

RNS-based Gadget Decomposition

最早由 [BEHZ16] 提出 RNS 分解，它是 RNS-friendly 的一种 Gadget 分解方法。他们直接使用 $Q=q_0\cdots q_{l-1}$ 对应的 RNS 表示 $[a{]}_Q=([a{]}_{q_0},\cdots ,[a{]}_{q_{l-1}})\in R^l$ 作为分解形式，但这导致 KSK 的规模扩张了 $l$ 倍（分别加密 $P{s}^2\cdot g_i$ 或者 $P\cdot {\tau }_t(s)\cdot g_i$），并且计算效率降低。

[HK20] 指出我们不必完全分解到各个素数，而是将它们分组为若干个数字。确切地说，

• 模数 $Q$ 的 RNS base 是 B = { q 0 , ⋯   , q l − 1 } \mathcal B = \{q_0,\cdots,q_{l-1}\} B={q0​,⋯,ql−1​}，指标集 $I=[l]$
• 指标集分解为 $d$ 个子集的不交并 $I={\cup }_j{I}_j$，对应的 RNS base 分别是 B j = { q k ∣ k ∈ I k } \mathcal B_j = \{q_k \mid k \in I_k\} Bj​={qk​∣k∈Ik​}，那么 $D_j={\prod }_{k\in I_j}{q}_k$ 是互素的 digits，满足 $Q={\prod }_j{D}_j$，我们称 $|I_j|$ 是 $D_j$ 的长度

我们定义 Gadget 分解函数 $h:R_Q\to R^d$，
$$h:a\mapsto \vec{b}:=(b_j=[a{]}_{D_j}{)}_{j=0}^{d-1}$$
简记 ${\hat{D}}_j=Q/D_j$ 以及 $D_j^{\ast }=[{\hat{D}}_j^{-1}{]}_{D_j}$，这个分解函数对应的 Gadget 向量是：
$$\vec{g}:=(g_j={\hat{D}}_j{D}_j^{\ast }{)}_{j=0}^{d-1}$$
容易验证 $g_j=1(\mathrm{mod}{D}_j)$ 以及 $g_j=0(\mathrm{mod}{D}_{j^{\prime }}),\forall j^{\prime }\ne j$，因此 $\vec{g}$ 构成了一组 CRT 基底，使得 $a=⟨h(a),\vec{g}⟩$。我们令 $h$ 的范数上界为 B = 1 2 max ⁡ 0 ≤ j < d { D j } B = \frac{1}{2} \max_{0 \le j<d}\{D_j\} B=21​max0≤j<d​{Dj​}

在 RNS 下计算上述的 Gadget 分解是平凡的：给定元素 $a\in R_Q$ 的 RNS 表示 $[a{]}_Q=([a{]}_{q_i}{)}_{0\le i<l}\in R_Q^l$，那么把这个向量简单分组为 $[a{]}_Q=([a{]}_{D_j}{)}_{0\le j<d}$ 即可，其中的每一个 $[a{]}_{D_j}=([a{]}_{q_k}{)}_{k\in I_j}\in R^{|I_j|}$ 也都是 RNS 向量表示。

External Product over RNS

我们使用 [HK20] 的分解技术实现 External Product 中使用的两个 $h,\tilde{h}$ 分解函数，前者分解 $Q$ 成为 $D_i,0\le i<d$，后者分解 $\tilde{Q}$ 成为 ${\tilde{D}}_j,0\le j<\tilde{d}$。当计算内积 $⟨\vec{b},{\vec{v}}_j⟩,0\le j<\tilde{d}$ 的时候，其中 $\vec{b}=h(a)\in R^d$ 以及 ${\vec{v}}_j=\tilde{h}(\vec{u}{)}_j\in R^d$，其中的分量 $b_i=[a{]}_{D_i},0\le i<d$ 以及 $v_{ji}=[{\vec{v}}_j{]}_{{\tilde{D}}_i}$ 都是短向量，我们将它们嵌入到 $R_{B^{\prime }}^d$ 中模拟 $R^d$ 运算。

这需要用到 [BEHZ16] 提出的 Fast Base Conversion 技术。为了消除 overflow 的影响，可以采用 [HPS19] 的浮点数算法。我们以 $b_i=[a{]}_{D_i}=(a_k{)}_k\in R^{|I_i|}$ 为例，定义 ${\hat{q}}_k=D_i/q_k$ 以及 $q_k^{\ast }=[{\hat{q}}_k^{-1}{]}_{q_k}$，可以写出（根据 CRT 定理，并不真的去计算）：
$$b_i=\sum _{k\in I_i}[a_k\cdot q_k^{\ast }{]}_{q_k}\cdot {\hat{q}}_k-D_i{z}_i\in R_{D_i}$$
其中 $z_i$ 是使用浮点算术得到的，一般情况下 IEEE-754 double 就足够了，
$$z_i=\lfloor \frac{{\sum }_{k\in I_i}[a_k\cdot q_k^{\ast }{]}_{q_k}\cdot {\hat{q}}_k}{D_i}\rceil =\lfloor \sum _{k\in I_i}\frac{[a_k\cdot q_k^{\ast }{]}_{q_k}}{q_k}\rceil$$
假设 $B^{\prime }=\prod q^{\prime }$，那么就有（直接根据 $a_k=[a{]}_{q_k}$ 计算）：
$$[b_i{]}_{q^{\prime }}=\sum _{k\in I_i}[a_k\cdot q_k^{\ast }{]}_{q_k}\cdot [{\hat{q}}_k{]}_{q^{\prime }}-z_i\cdot [D_i{]}_{q^{\prime }}\in R_{q^{\prime }}$$
其中的 $[{\hat{q}}_k{]}_{q^{\prime }}$ 以及 $[D_i{]}_{q^{\prime }}$ 都是预计算的。这样就实现了 $b_i=[a{]}_{D_i}$ 到 $[b_i{]}_{B^{\prime }}$ 的转换，对于 $v_{ji}=[{\vec{v}}_j{]}_{{\tilde{D}}_i}$ 同理，于是我们可以在 $R_{B^{\prime }}^d$ 中计算两者的内积。

最终，再次使用 Fast Base Conversion 把内积结果 $r_j=⟨\vec{b},{\vec{v}}_j⟩\in R_{B^{\prime }}$（可以正确提升为 $R$ 再取模）转换到 $[r_j{]}_{{\tilde{D}}_j}\in R_{{\tilde{D}}_j}$（注意不是 $D_i\mid Q$ 而是 ${\tilde{D}}_j\mid \tilde{Q}$）。此时有：
$$⟨h(a),u⟩=\sum _{i=0}^{d-1}{b}_i\cdot u_i=\sum _{j=0}^{\tilde{d}-1}[r_j{]}_{{\tilde{D}}_j}\cdot {\tilde{g}}_j(\mathrm{mod}\tilde{Q})$$
由于 ${\tilde{g}}_j=1(\mathrm{mod}{\tilde{D}}_j)$ 以及 ${\tilde{g}}_j=0(\mathrm{mod}{\tilde{D}}_{j^{\prime }}),\forall j^{\prime }\ne j$，因此简单地把这些 $[r_j{]}_{{\tilde{D}}_j},0\le j<\tilde{d}$ 级联起来，就得到了内积 $⟨b,u⟩(\mathrm{mod}\tilde{Q})$ 的 RNS 表示。最后的模切换 $\tilde{Q}\to Q$，在 RNS 上也是容易的。

Previous Key-switching Method

[KLSS23] 测试发现，Full-RNS 中占主导开销的就是 NTT/INTT，

• 在同态乘法中，密钥切换的开销占比为 $86-93\%$
• 在自同构中，密钥切换的开销占比为 $90-95\%$
• 在密钥切换中，NTT/INTT 的开销占比为 $47-73\%$

假设 $Q=q_0{q}_1\cdots q_{l-1}$ 以及 $P=q_l{q}_{l+1}\cdots q_{\tilde{l}-1}$ 分别是 ciphertext modulus 和 special modulus，这里 $q_i$ 都是 word-size 素数。将模数 $Q$ 分解为 $d$ 个长度 $r$ 的数字 $D_j$， 使用它所对应的 RNS 分解函数 $h$。

1. 先计算 $h(a)\in R^d$，然后再把每个 $b_j=[a{]}_{D_j}$ 都扩展到模数 $\tilde{Q}$ 对应的 RNS 表示。KSK 以 Double-CRT 的形式给出，模数是 $\tilde{Q}$。
2. 接着把这 $d$ 个长度 $\tilde{l}$ 的多项式 $[b_j{]}_{\tilde{Q}}$ 都转换到 NTT Form，再和 KSK 做内积（线性解密）。
3. 把计算出的两个密文分量转换回 Coeff Form，执行模切换。

如图所示：

计算复杂度：

• NTT/INTT 数量：内积之前需要 $d\tilde{l}$ 次 NTT，内积之后需要 $2\tilde{l}$ 次 INTT，共计为 $(d+2)\tilde{l}$
• Hadamard product 数量：
  • 当 $r\ne 1$ 时，把各个 $[a{]}_{D_j}$ 扩展到 $\tilde{Q}$ 需要 $dr(\tilde{l}-r)\le l^2$ 次 Hadamard product（请看 $[b_i{]}_{q^{\prime }}$ 计算公式），内积需要 $2d\tilde{l}$ 次 Hadamard product，共计为 $l^2+2d\tilde{l}$
  • 当 $r=1$ 时，把各个 $[a{]}_{D_j}$ 扩展到 $\tilde{Q}$ 就不再需要 Hadamard product，共计为 $2d\tilde{l}$

New Key-switching Method

使用 [KLSS23] 提出的新外积算法，可以把 NTT/INTT 的开销降低 4-9 倍，使得密钥切换中的 NTT/INTT 开销占比降低到 $25-27\%$

除了分解 $Q$ 为 $D_i$ 对应的函数 $h$，再使用分解 $\tilde{Q}=PQ$ 为 ${\tilde{D}}_j,0\le j<\tilde{d}$ 对应的函数 $\tilde{h}$，假设 ${\tilde{D}}_j$ 的长度都是 $\tilde{r}$。选取合适的 $B^{\prime }$，它的长度为 $r^{\prime }$。

1. 先计算 $h(a)\in R^d$，然后再把每个 $b_j=[a{]}_{D_j}$ 都扩展到模数 $B^{\prime }$ 对应的 RNS 表示。KSK 已经被关于 $\tilde{h}$ 分解，并以对应的 Double-CRT 的形式给出，模数是 $B^{\prime }$。
2. 接着把这 $d$ 个长度 $r^{\prime }$ 的多项式 $[b_j{]}_{B^{\prime }}$ 都转换到 NTT form，再和 KSK 做内积（线性解密），两个密文分量都各对应 $\tilde{d}$ 个内积。
3. 把计算出的系数都转换回 Coeff Form（模数 $B^{\prime }$），并各自转换到 ${\tilde{D}}_j$ 模数，最后执行模切换。

如图所示：

计算复杂度：

• NTT/INTT 数量：内积之前需要 $d{r}^{\prime }$ 次 NTT，内积之后需要 $2\tilde{d}{r}^{\prime }$ 次 INTT，共计为 $(d+2\tilde{d})r^{\prime }$
• Hadamard product 数量：
  • 当 $r\ne 1$ 时，把各个 $[a{]}_{D_j}$ 扩展到 $B^{\prime }$ 需要 $dr{r}^{\prime }\le l{r}^{\prime }$ 次 Hadamard product（请看 $[b_i{]}_{q^{\prime }}$ 计算公式），内积需要 $2d\tilde{d}{r}^{\prime }$ 次 Hadamard product，最后从 $B^{\prime }$ 转换回 $\tilde{Q}$ 还需要 $2\tilde{d}\tilde{r}{r}^{\prime }=2\tilde{l}{r}^{\prime }$ 次 Hadamard product，共计为 $(l+2d\tilde{d}+2\tilde{l})r^{\prime }$
  • 当 $r=1$ 时，把各个 $[a{]}_{D_j}$ 扩展到 $\tilde{Q}$ 就不再需要 Hadamard product，共计为 $(2d\tilde{d}+2\tilde{l})r^{\prime }$

Complexity Comparison

汇总一下，[KLSS23] 所需的 NTT/INTT 数量大幅减低，而 Hadamard product 数量也有所降低。如果假设 $r,\tilde{r},r^{\prime }\in O(1)$ 以及 $d,\tilde{d}\in O(l)$，此时 $\tilde{l}=\tilde{r}\tilde{d}=O(l)$，那么在渐进的意义下：

• 旧的 KS 需要 $O(l^2)$ 次 NTT/INTT，新的 KS 只需要 $O(l)$ 次 NTT/INTT
• 旧的和新的 KS 都需要 $O(l^2)$ 次 Hadamard product

问题是实际中真的设置 $r\in O(1)$ 和 $d=O(l)$ 嘛？对于 Hybrid KS（噪声还被除以 $P$，不必分解的很细），通常是选取 $d=2,3$ 吧？那样的话，原始 KS 本身也是线性复杂度的 NTT/INTT，改进就没有这么明显了。

可以看出，随着 $r$ 的增大（也就是 $d$ 的减小），原始 KS 的表现越来越好，且 [KLSS23] 的改进幅度越来越小。此外 [KLSS23] 还声称新算法对于 $l,r$ 的依赖相对较弱。

在他们选取的参数下，NTT 的占比大幅下降了：