【隐私计算】SIRNN: A Math Library for Secure RNN Inference

Mr.zwX

已于 2022-12-06 15:25:34 修改

阅读量1.4k

点赞数

分类专栏：隐私计算及密码学基础文章标签：深度学习安全

于 2022-12-01 01:32:45 首次发布

本文链接：https://blog.csdn.net/qq_16763983/article/details/128117212

版权

隐私计算及密码学基础专栏收录该内容

17 篇文章 20 订阅

订阅专栏

刚开始学隐私计算，读到SIRNN，感觉真的好难好难，门槛比deep learning高好多，先尽量啃一啃（捂脸.jpg）。

1 文章及代码

Paper: SIRNN: A Math Library for Secure RNN Inference
Code: https://github.com/mpc-msri/EzPC.

2 主要贡献

为数学函数（指数、sigmoid、tanh、平方根倒数）提出了全新的密码学友好的新近似。
为不均匀（混合）的bitwidth提供2PC协议，实现高效的数学函数。
SIRNN首次为RNN和CNN提供了安全推理库，在延迟、通信等方面达到SOTA，并拥有高数值准确率。

3 概览

3.1 Scale和bitwidth

2PC在整数上运算比在浮点数上运算更高效，在定点运算数中， $\lfloor r2^s\rfloor \mod 2^l$ ，其中 $l$ 就是bitwidth， $s$ 是scale。

3.2 对数学函数的近似

首先用lookup table (LUT)得到一个不错的初始化近似，然后用迭代算法提升这个近似。
更大的LUT近似结果更准确，但是通信开销线性增长。
对于指数和负数输入，分解输入x到更小的子串（digit decomposition）。
为了让迭代算法更高效，本文采用定点（fixed-point）算数及不均匀的混合bitwidth。

3.3 SIRNN协议

安全参数： $\lambda=128$
基于4种构造块：
（1）Extension（扩展）
$\mathbb{Z}_{2^m} \rightarrow \mathbb{Z}_{2^n} (m<n)$
GC需要的通信开销（重构和重共享）为： $\lambda(4m+2n)$ bits，SIRNN需要的通信开销仅为： $\lambda m$ ，大约比GC快6x。
（2）Truncation（截断）
常用于乘法之后减小规模，对于 $l$ -bit截断了 $s$ -bit有四种截断操作：

逻辑右移（保留位宽）
算数右移（保留位宽）
截断且减小（输出截断值 $\mathbb Z_{2^{l-s}}$ ）
除以 $2^s$

目前最好的算数右移通信大约是： $\lambda(l+s)$ ，本文提出的逻辑/算数右移协议大约是 $\lambda l$ ，大多数数学函数都只需要截断且减小去减小scale和bitwidth，SIRNN只需要 $\lambda (s+1)$ 通信。
（3）Multiplication（乘法）
$m$ -bit整数和 $n$ -bit整数相乘得到 $l = (m + n)$ -bit输出， $l$ 的选择保证了没有溢出。
（4）Digit Decomposition（数位分解）
将 $l$ -bit的值分解为 $c = l / d$ 个 $d$ -bits，可以用GC实现，通信量为 $\lambda (6l-2c-2)$ bits。本文进一步优化，通信量为 $\lambda (c-1)(d+2)$ bits，大约比GC低5x。

4 前提知识

4.1 ULP误差（units in last place）

ULP是真实数据和函数输出值之间的可表示数值的数量。

4.2 威胁模型

两方安全计算（2PC）
静态的半诚实攻击：遵循协议，但是会学习额外信息

4.3 符号表示

符号	意义
$x\in \mathbb Z_{2^l}$	power-of-2 rings， $x$ 的环为 $\mathbb Z_{2^l}$ ，即以 $2^l$ 为模
$B$	ring $\mathbb Z_2$ ，即以2为模
$\lambda$	计算安全系数
$\oplus$	异或门
$\zeta_l, \zeta_{l,m} (m>l)$	无损lifting操作，映射 $\mathbb Z_L\rightarrow \mathbb Z$ ，映射 $\mathbb Z_L\rightarrow \mathbb Z_M$
$L, M, N$	$2^l, 2^m, 2^n$
$[k]$	${0, 1, .., k-1}$
$1\{b\}$	$b = t r u e$ 时为1，反之为0
$i n t (x)$ 和 $u i n t (x)$	对于 $x\in \mathbb Z^l$ ，分别代表有符号和无符号值，int(x)=uint(x)−MSB(x)L
MSB(x)	MSB(x) $=1\{x\geq 2^{l-1}\}$ ，表示最有效高位
$F_{Mill}^l(x, y)$	$F_{Mill}^l(x, y)=\langle z\rangle^B=1\{x<y\}$
$F_{wrap}^l$	$F_{wrap}^l=F_{Mill}^l(L-1-x, y): w=wrap(x, y, L)=1\{x+y\geq L\}$
$e$	$e=1\{(x+y \mod L)=L-1\}$ ，判断是否全是1
$F_{wrap\&all1s}^l$	$F_{wrap\&all1s}^l(x,y)=(\langle w\rangle^B\|\|\langle e\rangle^B)$ ，至多一项是1
$_m$	$x*_m y=xy\mod M$ ，从 $\mathbb Z \times \mathbb Z \rightarrow \mathbb Z_M$
$l$	bitwidth
$s$	scale
$l - s$	整数部分的bitwidth
$F i x (x, l, s)$	$Fix(x, l, s)=x2^s \mod L$ ，从实数转到定点数表示
$urt_{(l,s)}(a)$	对于无符号数， $urt_{(l,s)}(a)=uint(a)/2^s$ ，从定点数转到实数表示
$srt_{(l,s)}(a)$	对于有符号数， $srt_{(l,s)}(a)=int(a)/2^s$ ，从定点数转到实数表示
$_L, >>_A$	逻辑右移和算术右移

4.4 密码学基础

秘密共享（SS）
2-out-of-2加性秘密共享： $x=\langle x\rangle_0^l+\langle x\rangle_1^l \mod L$ 。
不经意传输（OT）
1-out-of-k OT，用OT Extension (OTE)实现，并用了Correlated OT (COT)。

4.5 2PC基本函数

百万富翁/wrap
$F_{Mill}^l=1\{x<y\}$ ，CrypTFlow2中通信量低于 $\lambda l+14l$ bits和 $\log l$ rounds。
$F_{wrap}^l=F_{Mill}^l(L-1-x, y): w=wrap(x, y, L)=1\{x+y\geq L\}$
AND
输入 $\langle x\rangle^B, \langle y\rangle^B$ ，输出 $\langle x \land y\rangle^B$ ，用Beaver bit-triples实现，CrypTFlow2中通信量为 $\lambda+20$ 。
Boolean to Arithmetic (B2A)
输入boolean share，输出相同值的算术share，采用COT协议实现，通信量为 $\lambda+l$ bits。
Multiplexer (MUX)
$\langle x\rangle^B$ 和 $\langle y\rangle^l$ 作为输入，输出 $\langle z\rangle^l$ ，如果 $x = 1$ ，则 $z = y$ ，反之同理。本文提出的协议将通信量从 $2(\lambda+2l)$ （CrypTFlow2）降到 $2(\lambda+l)$ 。
Lookup Table (LUT)
对于表 $T$ ， $M$ 个入口，每个 $n$ -bits，输入 $\langle x\rangle^m$ ， $\langle z\rangle^n$ ，满足 $z = T [x]$ 。可以用1-out-of-m OT实现，通信量为 $2\lambda +Mn$ bits。这是个查表的操作，输入和输出的位数是不同的。

5 构建块协议

5.1 零扩展和有符号扩展

对于 $m$ -bit的数 $x\in \mathbb Z_M$ ，将其转换为 $n$ -bit的数（ $n > m$ ），这个过程就称为扩展（extension）。零扩展和有符号扩展分别用于扩展无符号数和有符号数的位宽。
零扩展（Zero Extension）
$P_0$ 和 $P_1$ 两方输入 $\langle x\rangle^m$ ，扩展输出 $\langle y\rangle^n$ ，要求满足 $u n i t (x) = u i n t (y)$ 。对于 $x^m\in \mathbb Z_M$ ，可以得到【问：这个等式在后面广泛使用，没太理解怎么来的】【答：其实 $- w M$ 就是实现的 $\mod M$ 计算过程，防止求和在 $\mathbb Z_{2^m}$ 环上溢出】：
$x^m = \langle x \rangle_0^m+\langle x \rangle_1^m-wM$
其中， $w=wrap(\langle x \rangle_0^m, \langle x \rangle_1^m, M)$ ，这是个boolean share，需要转换为算术share。这里考虑在 $n - m$ 环上转换，原因就是下面的模约减步骤会使通信量大大降低。
$F_{B2A}^{n-m}(\langle w\rangle^B)=\langle w\rangle^{n-m}\in \mathbb Z_{2^{n-m}}$

$\langle w\rangle_0^{n-m} + \langle w\rangle_1^{n-m}-wrap(\langle w\rangle_0^{n-m}, \langle w\rangle_1^{n-m}, \mathbb Z_{2^{n-m}})2^{n-m}$

$M_{*n}w = M_{*n}(\langle w\rangle_0^{n-m} + \langle w\rangle_1^{n-m} - wrap(\langle w\rangle_0^{n-m}, \langle w\rangle_1^{n-m}, \mathbb Z_{2^{n-m}})2^{n-m})$

其中， $M_{*n}wrap(\cdot)2^{n-m}=Mwrap(\cdot)2^{n-m} \mod N=wrap(\cdot)2^{n} \mod N=0$ （这一步称作“模约减”，modulo-reduce），所以上式子转换为：
$M_{*n}w = M_{*n}(\langle w\rangle_0^{n-m} + \langle w\rangle_1^{n-m}）$
于是：
$\sum_{b=0}^1(\langle x\rangle_b^m-M\langle w\rangle_b^{n-m}) \mod N$
这里是在 $P_0$ 和 $P_1$ 上分别计算，然后求和取模，得到扩展后的结果。其中， $\mod N=y$ 。
算法如下：
在这里插入图片描述
需要 $\log(m+2)$ rounds和少于 $\lambda(m+1)+13m+n$ bits的通信量。作为对比，用GC实现零扩展和有符号扩展需要 $\lambda(4m+2n-4)$ bits的通信量，大约是SIRNN的6倍。

有符号扩展（Signed Extension）
有符号扩展可以基于以下等式，通过转换无符号扩展得到，在环 $\mathbb Z$ 上：
$int(x)=x'-2^{m-1}, x'=x+2^{m-1} \mod M$
证明如下：
在这里插入图片描述
于是：
$SExt(x, m, n)=ZExt(x, m, n)-2^{m-1}$

相比零扩展，没有额外的通信开销。

5.2 截断

首先，规定 $_L,>>_A$ 分别表示逻辑右移和算术右移，它们的输入和输出都是在 $\mathbb Z_L$ 环上。
$T R (x, s)$ 表示截断且减小（truncate & reduce），将 $x\in \mathbb Z_L$ 截断且减小 $s$ -bits，最终得到的 $x$ 在更小的 $\mathbb Z_{2^{l-s}}$ 环上。
逻辑右移
Toy example： $x = 101001$ 逻辑右移3位，则 $x^{'} = 000101$ （右侧截掉，左侧补0）。
对于 $x\in \mathbb Z_L$ ，则 $x=\langle x\rangle_0^l+\langle x\rangle_1^l \mod L$ ，记 $\langle x\rangle_b^l=u_b||v_b$ （ $u_b$ 是高位， $v_b$ 是低位），其中 $u_b\in\{0, 1\}^{l-s}, v_b\in\{0, 1\}^{s}$ 。如下图：
在这里插入图片描述
根据前面提到的公式：
$x^m = \langle x \rangle_0^m+\langle x \rangle_1^m-wM$
可以得到：
$x>>_Ls=u_0+u_1-2^{l-s} wrap (\langle x\rangle_0^l, \langle x\rangle_1^l, L) + wrap(v_0, v_1, 2^s)$
上式中， $wrap(v_0, v_1, 2^s)$ 这一项是考虑了进位。我们知道，加性秘密共享时， $v$ 部分可能会存在1位进位的情况，所以 $wrap(v_0, v_1, 2^s)$ 就是判断 $v_0+v_1$ 是否大于 $2^s$ ，如果是，则会进1，如果不是，则为0。
常规做法是计算两个 $wrap(\cdot)$ 值即可，但是SIRNN提出了一种优化，避开直接计算位宽是 $l$ 的那一项。文章中的Lemma 1即是这个引理：
在这里插入图片描述
通信开销低于 $\lambda(l+3)+15+s+20$ ，并需要 $\log l+3$ rounds。
原文证明如下：

算法如下：
在这里插入图片描述

算术右移
对于无符号数，直接采用逻辑右移，对于有符号数，则需要采用算术右移。从前面零扩展到有符号扩展可以知道： $int(x)=x'-2^{l-1}, x'=x+2^{l-1} \mod L$ ，于是：
$x>>_As = x>>_Ls-2^{l-s-1}$

截断且减小
Toy example： $x = 101001$ 截断且减小3位，则 $x^{'} = 101$ 。
因为 $2^{l-s}{*_l} w \mod 2^{l-s}=0$ （模约减），所以：
$\langle TR(x, s)\rangle^{l-s}=u_0+u_1+wrap(v_0, v_1, 2^s)$

除以power-of-2
$z=\lceil int(x)/2^s\rceil \mod L; z\geq0, z=\lfloor int(x)/2^s\rfloor \mod L$
实际上 $int(x)/2^s \mod L$ 就是做 $_A$ ，取整括号即是将值往0靠近。令 $m_x=1\{x\geq 2^{l-1}\}$ 判断 $x$ 的正负性， $c=1\{x\mod 2^s=0\}$
$m_x=1$ ，则 $\lceil z\rceil$ ；反之， $\lfloor z\rfloor$ 。所以有：
$s)=(x>>_As)+m_x\land c$

5.3 混合位宽乘法

以前做乘法通常是用Beaver Triplet三元组实现，SIRNN中不能用了，因为加法和乘法的数bitwidth不一致。
无符号乘法
输入 $\langle x\rangle^m, \langle y\rangle^n$ ，输出 $\langle z\rangle^l, z=x*_l y, l=n+m$ 。
对于 $x, y$ ，在 $\mathbb Z$ 上有：
$uint(x)\cdot uint(y)=(x_0+x_1-2^mw_x)\cdot(y_0+y_1-2^nw_y)\\=x_0y_0+x_0y_1+x_1y_0+x_1y_1-2^mw_xy-2^nw_yx+2^lw_xw_y$
观察上式， $x_0y_0,x_1y_1$ 都是可以本地计算的【本地计算为什么不管位宽是否一致？】， $2^lw_xw_y$ 可以在 $\mod L$ 时被消掉（模约减）， $w_xy, x_yx$ 是boolean share和算术share的计算，本质上是MUX，可用直接用OT实现。最难的一项是交叉项 $x_0y_1, x_1y_0$ ，SIRNN采用COT实现。
巧妙的一点在于：选择比特位短的一方作为receiver，比特位长的一方作为sender，这样在做OT的取数时，round数就会更少。
交叉项算法如下：

无符号乘法算法如下：
在这里插入图片描述
SIRNN利用1-out-of-2的COT来实现这个过程，将短的数按位拆解，每一位非0即1，然后做二选一的COT，每一位计算完成后，在本地累加起来。
通信开销大约是： $\lambda(3\mu + v) + \mu(\mu + 2v) + 16(m + n)$ ，其中 $\mu = \min(m, n), ν = \max(m, n)$ 。普通的扩展位数然后相乘的开销是： $3\lambda(\mu+v)+(m+n)^2+15(m + n)$ ，大约是SIRNN的1.5x。

有符号乘法
布尔分享转换为算术分享：
$\langle x\rangle^A=\langle x\rangle_0^B+\langle x\rangle_1^B-2\langle x\rangle_0^B\langle x\rangle_1^B$
基于前面无符号数和有符号数的关系，可以得到：无符号数 $x'=x+2^{m-1}\mod M, y'=y+2^{n-1}\mod N$ 。由秘密共享， $x'=x_0'+x_1' \mod M, y'=y_0'+y_1' \mod N$ 。有符号数 $int(x)=x'-2^{m-1}, int(y)=y'-2^{n-1}$ 。因此，在 $\mathbb Z$ 环上：
在这里插入图片描述

$x^{'} y^{'}$ 是无符号数的乘法，可以用algorithm 3计算， $2^{m-1}y_b', 2^{n-1}x_b'$ 也都可以在本地计算出来。难点是wrap项应该如何计算。
$2^{m+n-1}w_{x'}=2^{l-1}w_{x'}=2^{l-1}(\langle w_{x'}\rangle_0^B+\langle w_{x'}\rangle_1^B-2\langle w_{x'}\rangle_0^B\langle w_{x'}\rangle_1^B)$
其中， $2\langle w_{x'}\rangle_0^B\langle w_{x'}\rangle_1^B$ 与 $2^{l-1}$ 相乘再 $\mod L$ 后会被消除掉，所以无需计算。因此，上式变为：
$2^{m+n-1}w_{x'}=2^{l-1}w_{x'}=2^{l-1}(\langle w_{x'}\rangle_0^B+\langle w_{x'}\rangle_1^B)$
有符号的乘法相比无符号的乘法，也没有额外的开销。

矩阵乘法和卷积
矩阵乘法和卷积是很常见的（实际上可以展开为普通乘法做elment-wise乘和加），两个矩阵 $A\in \mathbb Z_M^{d1\times d2}, A\in \mathbb Z_N^{d2\times d3}$ ，输出矩阵乘法结果 $A\in \mathbb Z_L^{d1\times d3}$ ，其中 $l = m + n$ 。做矩阵乘法需要 $d_2$ 次乘以及 $d_2-1$ 次加。
这个时候可能出现的问题是：加法导致溢出。一种解决方式是将element-wise乘后的结果扩展 $e=\lceil \log d_2\rceil$ -bits后，再做加法。但是，这样扩展开销很大，需要扩展 $d_1d_2d_3$ 次。
于是本文这样做：考虑到前面算交叉项（CrossTerm）时，通信round数取决于较小的bitwidth，所以本文将bitwidth较大的一项拿去扩展 $e$ -bits，在不增加开销的情况下，扩大了环。
通信开销大致为 $\lambda(3d_1d_2(m+2)+d_2d_3(n+2))+d_1d_2d_3((2m+4)(n+e)+m^2+5m)$ bits。
算法如下：
在这里插入图片描述

乘且截断
首先调用有符号乘法，然后截断。输入 $\langle x\rangle^m, \langle y\rangle^n$ ，输出 $\langle z'\rangle^{l-s}$ 。 $z=int(x)*_l int(y), z'=TR(z, s)$ 。其中 $l = m + n$ 。

5.4 数值分解和MSNZB (Most Significant Non-Zero Bit)

数值分解
将 $l$ -bit的数分解为 $c$ 个长度为 $d = l / c$ 的子串或数值，使得 $x=z_{c-1}||...||z_0$ 。
算法如下：
在这里插入图片描述

MSNZB
返回最高非零比特的索引：比如 $x = 001010$ 返回的就是3。
算法如下：
在这里插入图片描述

5.5 MSB to Wrap Optimization

本文大量依赖于 $w=wrap(\langle x\rangle_0^l, \langle x\rangle_1^l, L)$ ，一些情况下，我们能得到 $m_x=MSB(x)$ 或 $\langle m_x\rangle^B$ ，于是 $w=((1\oplus m_x)\land (m_0\oplus m_1)\oplus(m_0\land m_1))$ ，其中 $m_b=MSB(\langle x\rangle_B^l)$ 。当 $m_x$ 是秘密分享时，使用 $\binom{4}{1}$ -OT；当 $m_x$ 是明文时，使用 $\binom{2}{1}$ -OT。

6 构建数学库

6.1 指数

求 $rExp(z)=e^{-z}, z\in \mathbb R^+$ 的值，首先将输入 $x$ 分成 $k$ 段，然后每段在LUT (Look Up Table)进行查表，将得到的结果相乘。
算法如下：
在这里插入图片描述

6.2 Sigmoid和Tanh

$sigmoid(z)=\frac{1}{1+e^{-z}}$ ，可以表示如下：
在这里插入图片描述
其中， $h(z)=\frac{1}{1+rExp(z)}$ 的计算是先求 $r E x p$ 然后求倒数：

倒数则是采用Goldschmidt’s迭代近似算法实现，算法如下：

Tanh和sigmoid存在数学上的关系： $Tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}=2sigmoid(2z)-1$ ，所以可以用如上方式实现。

6.3 平方根倒数

计算 $rsqrt(x)=\frac{1}{\sqrt x}$ ，为了防止分母为0，首先加上一个很小的 $\epsilon$ 有 $rsqrt(x)=\frac{1}{\sqrt {x+\epsilon}}$ 。
首先，进行初始化，然后用Goldschmidt法进行迭代，
算法如下：
在这里插入图片描述