SecFormer: Towards Fast and Accurate Privacy-Preserving Inference for Large Language Models

515 篇文章 3 订阅

已下架不支持订阅

11 篇文章 0 订阅
1 篇文章 0 订阅
SecFormer是针对大型语言模型,特别是基于Transformer的模型,解决安全多方计算(SMPC)中性能下降问题的优化框架。通过消除高成本指数运算和最大运算,以及开发高效SMPC协议处理非线性函数,SecFormer实现了快速且准确的隐私保护推理(PPI)。实验结果显示,SecFormer在BERTBASE和BERTLARGE上的性能分别提高24.2%,并比Puma快3.56到3.58倍。
摘要由CSDN通过智能技术生成

本文是LLM系列文章,针对《SecFormer: Towards Fast and Accurate Privacy-Preserving Inference for Large Language Models》的翻译。

SecFormer:为大型语言模型实现快速准确的隐私保护推理

摘要

随着云平台上托管的大型语言模型越来越多地用于提供推理服务,隐私问题也在升级,尤其是涉及投资计划和银行账户详细信息等敏感数据。安全多方计算(SMPC)是一种很有前途的保护推理数据和模型参数隐私的解决方案。然而,SMPC在大型语言模型的隐私保护推理(PPI)中的应用,特别是那些基于Transformer架构的模型,往往会导致性能显著下降。这在很大程度上是由于Transformer架构中的大量非线性操作,这些操作不太适合SMPC,并且难以有效规避或优化。为了解决这一问题,我们引入了一种名为SecFormer的高级优化框架,以实现Transformer模型的快速准确PPI。通过实现模型设计优化,我们成功地消除了PPI中的高成本指数运算和最大运算,而不牺牲模型性能。此外,我们还开发了一套高效的SMPC协议,利用分段多项式、傅立叶级数和Goldschmidt方法来处理PPI中的其他复杂非线性函数,如GeLU、LayerNorm和Softmax。我们的大量实验表明,SecFormer的性能优于MPCFormer,提高了5.6%BERTBASE和BERTLARGE分别为2

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

已下架不支持订阅

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值