YOLOv10改进 | 独家创新- 注意力篇 | YOLOv10引入结合FocalModulation和LinearAttention形成全新的LocalModulation(全网独家创新)

1. LocalModulation介绍

          LocalModulation注意力机制在图像特征提取方面相对于FocalModulation注意力机制具有以下几个优异之处：

          (1). 引入了线性注意力机制：
          LocalModulation在其架构中引入了一个线性注意力模块，这使得其能够更有效地捕捉全局信息。线性注意力通过线性变换计算查询、键和值，并进行矩阵乘法计算注意力分数，从而在捕捉长距离依赖关系和全局特征方面表现更好。

          (2). 多层次的焦点调制：
         与FocalModulation类似，LocalModulation也具有多层次的焦点调制能力，但其在每一层焦点调制之后，还将这些特征与全局上下文进行融合。通过在每一层焦点调制之后结合全局上下文信息，LocalModulation能够更加全面地理解图像特征。

          (3). 上下文门控机制：
          LocalModulation引入了上下文门控机制，通过学习不同焦点层的门控权重来调节每一层的贡献。通过这种机制，模型能够更好地根据输入特征自适应地调整不同层次的特征权重，从而更准确地捕捉图像中的关键信息。

          (4). 规范化处理：
          LocalModulation在计算注意力分数时引入了L2规范化处理，这有助于稳定训练过程