深度学习论文: Separable Self-attention for Mobile Vision Transformers

深度学习论文: Separable Self-attention for Mobile Vision Transformers
Separable Self-attention for Mobile Vision Transformers
PDF:https://arxiv.org/pdf/2206.02680
PyTorch: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

MobileViT是一种融合了CNN和ViT优点的混合网络，专为移动设备设计，具有较少的参数和较轻的计算负担。但其效率受限于多头自注意力（MHA）的高时间复杂度O(k^2)，这在处理大量令牌时成为瓶颈。为了解决这一问题，本文提出了一种具有线性复杂度的可分离自注意力方法，通过计算与潜在令牌相关的上下文得分来简化操作，大幅降低计算成本。这种方法使用逐元素操作，适合资源受限的设备。将此方法应用于MobileViT，形成了改进版模型MobileViTv2，通过替代MHA进一步提升了推理速度。