本文介绍了《Contextual Transformer Networks for Visual Recognition》论文中的Contextual Trans注意力机制，该机制用于增强视觉表示能力。通过上下文编码和动态多头注意力矩阵，提升YOLOv8的性能。提供了源代码、添加方式以及模型yaml文件，展示了如何将此模块整合到YOLOv8中。
论文名称：《Contextual Transformer Networks for Visual Recognition》
论文地址：https://arxiv.org/pdf/2107.12292.pdf
代码地址：https://github.com/JDAI-CV/CoTNet
文章目录
1 原理
具备自注意力机制的 Transformer 已经引领了自然语言处理领域的革命，并且最近也在许多计算机视觉任务中以出色的结果启发了类似 Transformer 风格的架构设计的出现。然而，大多数现有设计直接在二维特征图上使用自注意力来基于每个空间位置的孤立查询和键对获取注意力矩阵，但却未充分利用相邻键之间的丰富上下文信息。在这项工作中，我们设计了一种新颖的 Transformer 风格模块，即上下文 Transformer (CoT)块，用于视觉识别。这种设计充分利用了输入键之间的上下文信息，以引导动态注意力矩阵的学习，从而增强了视觉表示的能力。在技术上，CoT块首先通过3×3卷积对输入键进行上下文编码，从而得到输入的静态上下文表示。我们进一步将编码的键与输入查询连接起来，
订阅专栏 解锁全文
1096
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
