SecFormer: Towards Fast and Accurate Privacy-Preserving Inference for Large Language Models

概述

本文引入了一个名为SecFormer的高级优化框架，以实现transformer模型的快速准确的PPI(Privacy-Preserving Inference)。通过模型设计优化，我们在不牺牲模型性能的前提下，成功地消除了PPI中高成本的指数运算和最大运算。

2.隐私保护算法

2.1隐私保护GeLU

• 1-5 我们通过调用${\prod }_{LT}$(比较函数)来确定输入x落在那个分段区间。
• 7 利用${\prod }_{sin}$来实现$f(x)$的隐私保护
• 8-10 通过调用${\prod }_{Mul}$来计算erf函数和GeLU函数。

核心思想：

将上图的erf函数进行改变，变为下图函数

将其中的$f(x)$使用傅里叶函数表示

2.2隐私保护的LayerNorm

核心思想：通过迭代将平方根逆转化为乘法计算

• 1-2 计算均值和方差
• 3-8 我们用Goldschmid的方法计算$\frac{1}{\sqrt{q}}$

2.3近似隐私保护Softmax

但里面的指数，除法和最大值会阻碍计算。所以本文采取SMPC有好的二次方程近似2Quad