4.18.2 EfficientViT:具有级联组注意力的内存高效Vision Transformer

现有Transformer模型的速度通常受到内存低效操作的限制，尤其是MHSA（多头自注意力）中的张量整形和逐元素函数。

设计了一种具有三明治布局的新构建块，即在高效FFN（前馈）层之间使用单个内存绑定的MHSA，从而提高内存效率，同时增强通道通信。

注意力图在头部之间具有高度相似性，导致计算冗余。

为了解决这个问题，提出了一个级联的组注意力模块，为注意力头提供完整特征的不同分割。

---

Transformer模型的速度通常受内存限制。内存访问延迟阻碍了GPU/CPU中计算能力的充分利用，从而对Transformer的运行速度产生严重的负面影响。

内存效率最低的操作是多头自注意力（MHSA）中频繁的张量整形和逐元素函数。通过适当调整MHSA和FFN（前馈网络）层之间的比例，可以在不影响性能的情况下显著减少内存访问时间。

通过向每个头提供不同的特征来显式分解每个头的计算来缓解冗余问题。 

为了提高参数效率，我们使用结构化剪枝来识别最重要的网络组件，并总结模型加速参数重新分配的经验指导。

结构化剪枝是在神经网络已经训练好的情况下，按照一定的剪枝策略来修剪掉一部分神经元或连接，从而减少模型的大小，保持模型的精度，形成一个新的更加简单的模型。