vision transformer的计算复杂度

Vision transformer

假设每个图像有 $h\ast w$ 个patch，维度是 $C$

输入的图像 $X$ ( 大小为 $hw\ast C$ )，和三个系数矩阵相乘 ( 大小为 $C\ast C$ )，得到 $qkv$ 三个向量 ( $hw\ast C$ )，复杂度为：
$$3hw{C}^2$$

$q$ ( $hw\ast C$ ) 和 $k^T$ ( $C\ast hw$ ) 相乘得到矩阵 $A$ ( $hw\ast hw$ )，复杂度为：$$(hw{)}^{2}C$$

$A$ ( $hw\ast hw$ ) 和 $v$ ( $hw\ast C$ )相乘，得到多头注意力的结果 ( $hw\ast C$ )，复杂度为：$$(hw{)}^{2}C$$

经过MLP投影层 ( $C\ast C$ )，得到 ( $hw\ast C$ )，复杂度为：
$$hw{C}^2$$

所以复杂度之和为： 4 h w C 2 + 2 ( h w ) 2 C 4hwC^2 + 2(hw)^2C 4hwC2+2(hw)2C</