🚀🚀🚀本文改进:动态稀疏注意力(BiLevelRoutingAttention),实现更灵活的计算分配和内容感知,使其具备动态的查询感知稀疏性,改进方法:1)动态稀疏注意力替换 PSA中的多头自注意力模块MHSA注意力;2) 动态稀疏注意力直接替换 PSA;
🚀🚀🚀BiLevelRoutingAttention 亲测在多个数据集能够实现涨点,同样适用于小目标检测
改进1结构图:
改进2结构图:
🚀🚀🚀本文改进:动态稀疏注意力(BiLevelRoutingAttention),实现更灵活的计算分配和内容感知,使其具备动态的查询感知稀疏性,改进方法:1)动态稀疏注意力替换 PSA中的多头自注意力模块MHSA注意力;2) 动态稀疏注意力直接替换 PSA;
🚀🚀🚀BiLevelRoutingAttention 亲测在多个数据集能够实现涨点,同样适用于小目标检测
改进1结构图:
改进2结构图: