bevfomer self-att to transformer to tensorrt

解读

以下网址vpn链接
https://oceanechy.github.io/2023/11/29/bevformer-learning/

• 万字长文梳理bevformerhttps://zhuanlan.zhihu.com/p/543335939
• bilibili手撕bevformer

self-attentation

https://blog.csdn.net/weixin_42110638/article/details/134016569

query = input* Wq
key = input* Wk
value = input* Wv

output = 求和 query . key * value

detr multiScaleDeformableAttn

Deformable Attention Module，在图像特征上，应用Transformer注意力的核心问题是：it would look over all possible spatial locations。
为了解决这个问题，我们提出了一个可变形的注意模块（deformable attention module）。
受可变形卷积的启发 (Dai等，2017; Zhu等，2019b)，**可变形注意模块只关注参考点周围的一小部分关键采样点，而与特征图的空间大小无关，**如图2所示，通过为每个查询仅分配少量固定数量的键，可以减轻收敛和特征空间分辨率的问题。

bevformer tensorrt

https://github.com/DerryHub/BEVFormer_tensorrt

to trt