YOLOv7改进:在不同位置添加biformer
为了缓解多头自注意力()的可扩展性问题,先前的一些方法提出了不同的稀疏注意力机制,其中每个查询只关注少量的键值对,而非全部。为此,作者探索了一种动态的、查询感知的稀疏注意力机制,其关键思想是在粗糙区域级别过滤掉大部分不相关的键值对,以便只保留一小部分路由区域(这不就把冗余的信息干掉了吗老铁们)。其次,作者在这些路由区域的联合中应用细粒度的注意力。本文以yolov7-tiny.yaml为基础网络结构进行修改,尝试将注意力机制添加到不同的位置。CBAM的原理不在赘述,直接开始代码修改。
复制链接