- 博客(2)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 注意力复杂度分析
综上所述，每个注意力头的总FLOPs为 N * N * d（查询线性变换和键线性变换的点积）+ N * N * d（softmax归一化）+ N * D * D（自注意力输出的计算）。请注意，上述计算仅考虑了单个注意力头的FLOPs，并未考虑多头注意力和其它线性变换的FLOPs。对于每个注意力头（attention head），假设我们使用的是点积注意力（dot-product attention）。在点积注意力中，对于每个查询向量和键向量的维度，需要进行一个乘法操作。
2023-09-04 21:33:27
450
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人