MPCViT: Searching for Accurate and Efficient MPC-Friendly Vision Transformer with Heterogeneous Atte

1.摘要

本文提出了一个MPC友好的ViT，称为MPCViT，以实现MPC中准确而有效的ViT推断。基于对Softmax和其他注意变量的系统延迟和准确性评估，我们提出了一个异构注意优化空间。
我们还开发了一种简单而有效的mpc感知神经结构搜索算法，用于快速Pareto优化。为了进一步提高推理效率，

2.MPCViT Algorithm

如下图所示，该算法有三个板块，下面将一一展示。

2.1异构注意力搜寻空间

异构注意力搜寻空间由两类算法组成，首先介绍两个注意力算法：
ScaleAttn： S c a l e A t t n ( Q , K , V ) = 1 n ( Q K T ) V = Q n ( K T n V ) ScaleAttn(Q,K,V)=\frac{1}{n}(QK^T)V=\frac{Q}{\sqrt{n}}(\frac{K^T}{\sqrt{n}}V) ScaleAttn(Q,K,V)=n1​(QKT)V=