更新｜Cheetah: 精简快速的安全两方DNN推理

Cheetah: Lean and Fast Secure Two-Party Deep Neural Network Inference

• 摘要

• 技术概览

• 预备知识

  • 威胁模型

  • 符号约定

  • 基于格的同态加密

  • 扩展: SIMD的Packing操作

  • 不经意传输

• 线性层的2PC协议

  • 全联接层(FC层)

  • 卷积层(CONV层)

  • 批标准化层(BN层)

• 非线性函数的2PC优化协议

  • 百万富翁协议

  • 近似截断

• 优化

  • 计算优化

  • 通信优化

• 实验

• 总结

• 参考文献

摘要

2PC-NN安全推理与实际应用之间仍存在较大性能差距, 因此只适用于小数据集或简单模型. 本文通过仔细设计DNN, 基于格的同态加密、VOLE类型的不经意传输和秘密共享, 提出了一个2PC-NN推理系统Cheetah, 比CCS'20的CrypTFlow2技术开销小的多, 计算效率更快, 通信效率更高. 主要贡献有两点:

• 基于格的同态加密的协议可在不进行任何昂贵同态rotation操作的情况下评估线性层;

• 提出了非线性函数的几个精简且通信高效的原语.

本文的方案在ResNet50神经网络下在WAN进行端到端安全推理需要不到2.5分钟和2.3G通信量, 分别优于CrypTFlow2约5.6倍和12.9倍.

具体代码已在Github开源: 

https://github.com/Alibaba-Gemini-Lab/OpenCheetah.

技术概览

 

预备知识

威胁模型

Cheetah是半诚实两方计算设定下构造的. 两方分别为Alice(作为Server)和Bob(作为Client). 在安全推理中, Alice持有DNN, Bob持有神经网络的输入, 如图像. 协议允许Bob获得神经网络架构信息和推理输出, 而Alice根据应用场景的不同要么没有输出, 要么得到安全推理结果.

 

符号约定

基于格的同态加密

 

扩展: SIMD的Packing操作

 

不经意传输

 

线性层的2PC协议

全联接层(FC)、卷积层(CONV)、批标准化层(BN)都可以写成一系列内积的形式. Cheetah的线性协议不需要使用SIMD和同态rotation, 其关键在于观察到对多项式乘法公式(1), 若适当地排列多项式系数, 则可以将其视为一系列内积运算. 为此, Cheetah中针对不同层的功能, 通过构造一对自然映射分别用于排列的输入和权重的多项式系数, 对于任意, 这两个映射是良定义的(well-defined), 这使协议直接接受来自二次幂环的秘密份额输入. 相比之下, 以往的工作仅支持接受来自有限域的秘密份额输入, 为支持接受来自二次幂环的秘密份额输入, 需要借助中国剩余定理将明文模数扩展到大约比特来实现40比特的统计安全性, 导致计算量和通信量增加的倍数.

全联接层(FC层)

 

卷积层(CONV层)

 

 

整个卷积层的安全协议完整版如下图11.

 

批标准化层(BN层)

 

 

非线性函数的2PC优化协议

 

百万富翁协议

 

 

 

近似截断

 

已知符号位的近似截断

 

通信复杂度分析: 比起CrypTFlow2, Cheetah通信开销更小, 如下表所示.

优化

计算优化

 

通信优化

 

实验

本文的协议可以使用任意VOLE类型的OT扩展协议实现, 本文代码使用的是Ferret的方案[3]. 涉及的开源库有: SEAL, HEXL acceleration, EMP-toolkit. 具体代码已在Github开源: https://github.com/Alibaba-Gemini-Lab/OpenCheetah.

实验环境: 阿里云ecs.c7.2xlarge, 2.70GHz处理器, 16GB RAM.

 

非线性函数对比: 单线程下, 本文的所有非线性协议通信开销低10倍以上.

与DELPHI[^5]对比: Cheetah计算快1个量级, 通信低2个量级.

 

 

总结

Cheetah提供了一个高度优化的2PC-NN推理架构, WAN设定下, 在不到2.5分钟的时间内对ResNet50模型进行安全推理, 消耗2.3GB的通信量, 非常高效, 适合大规模神经网络训练推理, 是目前最好的2PC-NN工作之一.

总体而言, 本文的亮点有以下几点:

 

参考文献

[1]Deevashwer Rathee, Mayank Rathee, Nishant Kumar, Nishanth Chandran, Divya Gupta, Aseem Rastogi, and Rahul Sharma. CrypTFlow2: Practical 2-party secure inference. In CCS, pages 325–342. ACM, 2020. 

[2]Elette Boyle,Geoffroy Couteau,Niv Gilboa,Yuval Ishai, Lisa Kohl, Peter Rindal, and Peter Scholl. Efficient two-round OT extension and silent non-interactive secure computation. In CCS, pages 291–308, 2019. 

[3]Kang Yang, Chenkai Weng, Xiao Lan, Jiang Zhang, and Xiao Wang. Ferret: Fast extension for correlated OT with small communication. In CCS, pages 1607–1626, 2020. 

[4]Geoffroy Couteau, Peter Rindal, and Srinivasan Raghuraman. Silver: Silent VOLE and oblivious transfer from hardness of decoding structured LDPC codes. In CRYPTO, pages 502–534, 2021. 

[5]Pratyush Mishra, Ryan Lehmkuhl, Akshayaram Srini- vasan, Wenting Zheng, and Raluca Ada Popa. DELPHI: A cryptographic inference service for neural networks. In USENIX, pages 2505–2522, 2020. 

[6]Anders P. K. Dalskov, Daniel Escudero, and Marcel Keller. Secure evaluation of quantized neural networks. Proc. Priv. Enhancing Technol., 2020(4):355–375, 2020.

译者简介：

魏伟明, 应用数学硕士, 目前在广州大学数学与信息科学学院攻读博士学位, 主要研究方向为: 安全多方计算在隐私保护机器学习领域中的应用. 知乎: @云中雨雾.