1.摘要
本文提出了一个MPC友好的ViT,称为MPCViT,以实现MPC中准确而有效的ViT推断。基于对Softmax和其他注意变量的系统延迟和准确性评估,我们提出了一个异构注意优化空间。
我们还开发了一种简单而有效的mpc感知神经结构搜索算法,用于快速Pareto优化。为了进一步提高推理效率,
2.MPCViT Algorithm
如下图所示,该算法有三个板块,下面将一一展示。
2.1异构注意力搜寻空间
异构注意力搜寻空间由两类算法组成,首先介绍两个注意力算法:
ScaleAttn: S c a l e A t t n ( Q , K , V ) = 1 n ( Q K T ) V = Q n ( K T n V ) ScaleAttn(Q,K,V)=\frac{1}{n}(QK^T)V=\frac{Q}{\sqrt{n}}(\frac{K^T}{\sqrt{n}}V) ScaleAttn(Q,K,V)=n1(QKT)V=