（阅读笔记）Falcon: Honest-Majority Maliciously Secure Framework for Private Deep Learning

Falcon这篇文章发表在PoPETs’20上，论文链接如下：Falcon: Honest-Majority Maliciously Secure Framework for Private Deep Learning。Falcon是一个端到端的三方协议，主要用于机器学习大模型的高效隐私训练和推理。Falcon的主要贡献是：1）解释性强，支持大体量网络架构；2）支持 batch normalization; 3) 在诚实方为主体的恶意环境下，通过 abort 保证安全性；4）高效。

基本原语

Notation

$[[x]{]}^m=(x_1,x_2,x_3)$表示 2-out-of-3 三方冗余秘密分享, $x\equiv x_1+x_2+x_3(\mathrm{mod}m)$, $P_1$持有$(x_1,x_2)$, $P_2$持有$(x_2,x_3)$, $P_3$持有$(x_3,x_1)$。
三个模数：$L=2^l$, 素数$p$, 2。

Basic Operations

Correlated Randomness

3-out-of-3 randomness: ${\alpha }_1+{\alpha }_2+{\alpha }_3\equiv 0(\mathrm{mod}L)$, $P_i$持有随机数${\alpha }_i$。
2-out-of-3 randomness: ${\alpha }_1+{\alpha }_2+{\alpha }_3\equiv 0(\mathrm{mod}L)$, $P_i$持有随机数$({\alpha }_i,{\alpha }_{i+1})$。

Linear operations

假设$a,b,c$是常数，$[[x]{]}^m,[[y]{]}^m$是秘密分享，那么$[[ax+by+c]{]}^m$可以通过本地计算$(a{x}_1+b{y}_1+c,a{x}_2+b{y}_2,a{x}_3+b{y}_3)$实现。

Multiplications

假设$[[x]{]}^m=(x_1,x_2,x_3),[[y]{]}^m=(y_1,y_2,y_3)$, 各方本地计算$z_1=x_1{y}_1+x_2{y}_1+x_1{y}_2,z_2=x_2{y}_2+x_3{y}_2+x_2{y}_3,z_3=x_3{y}_3+x_1{y}_3+x_3{y}_1$，$z_1,z_2,z_3$组成 $[[z=x\cdot y]{]}^m$ 的3-out-of-3秘密分享。

Reconstruction

在半诚实模式下，$P_i$发送$x_i$给$P_{i+1}$；在恶意模式下，$P_i$发送$x_i$给$P_{i+1}$，发送$x_{i+1}$给$P_{i-1}$，当二者不一致时abort。

Select Shares

输入为随机值$[[x]{]}^L,[[y]{]}^L$ 和随机比特 $b$, 输出$[[z]{]}^L$取决于 $b$。
具体实现为：生成随机比特$[[c]{]}^2,[[c]{]}^L$, 公开$e=(b\oplus c)$。 当$e=1$时，$[[d]{]}^L=[[1-c]{]}^L$; 当$e=0$时，$[[d]{]}^L=[[c]{]}^L$；$[[z]{]}^L=[[(y-x)\cdot d]{]}^L+[[x]{]}^L$。
可以看到，当$b=0$时，$d=0,[[z]{]}^L=[[x]{]}^L$; 当$b=1$时，$d=1,[[z]{]}^L=[[y]{]}^L$。

XOR with public bit b

给定$[[x]{]}^m,b$，$[[y]{]}^m=[[x\oplus b]{]}^m$可以通过本地计算$y=x+b-2b\cdot x$实现。

Evaluating $[[(-1{)}^{\beta }\cdot x]{]}^m$

假设 β ∈ { 0 , 1 } , [  ⁣ [ ( − 1 ) β ⋅ x ]  ⁣ ] m = [  ⁣ [ ( 1 − 2 β ) ⋅ x ]  ⁣ ] m \beta\in\{0,1\}, [\![(-1)^\beta\cdot x]\!]^m=[\![(1-2\beta)\cdot x]\!]^m β∈{0,1},[[(−1)β⋅x]]m=[[(1−2β)⋅x]]m

核心模块

Private Compare

${\Pi }_{PC}$计算$x\ge r$, 其中$x\in {\mathbb{Z}}_p,r$是公开的比特。$\beta$起到盲化作用，第二步可以用$(1-2\beta )\cdot (x[i]-r[i])$计算，做乘法需要一次交互；第六步乘法需要$lo{g}_2^l+1$次交互。在$x,r$不相同的最高比特位置$t$，当$x\ge r$时，假设$\beta =0$, 那么$x[t]-r[t]=1$, 由于$w[t]=1,c[i]\ge 1$恒成立，因此$d=1,{\beta }^{\prime }=1$; 假设$\beta =1,c[t]=0,d=0,{\beta }^{\prime }=0$。对于$x<r$也可以推导出正确结果。

Wrap Function

$wrap$是为了计算进位，定义如下：

为了计算$wra{p}_3$， 引入一个随机数掩膜$x$，并分享在$a$中，对于秘密值$a$有：

$(5)-(6)-(7)+(8)+(9)$得到 ${\theta }_e={\beta }_1+{\beta }_2+{\beta }_3+{\delta }_e-\eta -{\alpha }_e$;
模2得到 $\theta ={\beta }_1+{\beta }_2+{\beta }_3+\delta -\eta -\alpha$。

ReLU and Derivative of ReLU

DReLU定义：$L/2$是0-63位，最高位为1，其余位为0的数，当$x>L/2$时，$x$的 MSB 为1，根据最高位表示符号的原则，说明 $x$为负数, 对应 ReLU 的负数部分，因此为 0；反之对应 ReLU 的正数部分，导数为1。

给定 $a=a_1+a_2+a_3(\mathrm{mod}L)$, 有$MSB(a)=MSB(a_1)+MSB(a_2)+MSB(a_3)+c(\mathrm{mod}2)$
注意到 $DReLU(a)=1-MSB(a)$, 因此 $DReLU(a)=MSB(a_1)\oplus MSB(a_2)\oplus MSB(a_3)\oplus wra{p}_3(2a_1,2a_2,2a_3,L)\oplus 1$
计算$\Pi$即可得到激活函数结果。

Maxpool and Derivative of Maxpool

Maxpool 是输入一个向量，输出最大值，可以用一个同样 size 的 one-hot 向量实现，其中的比较部分与 ReLU 一致。

Division

除法利用近似计算，首先计算除数的指数，即 $2^{\alpha }\le x<2^{\alpha +1}$中的 $\alpha$，算法如下：

step4中，c=1 表示 $x-2^{2^i+\alpha }\ge 0$。
得到 $\alpha$ 进行如下计算：

本文采用Newton-Raphson算法近似计算$a/b$。参考师兄的文章:Falcon。

Batch Normalization

套用除法算法，也采用近似算法。