Coordinate Attention for Efficient Mobile Network Design【即插即用】-CSDN博客

本文链接：https://blog.csdn.net/bettle_king/article/details/137191028

论文介绍了一种新的移动网络注意力机制——坐标注意力，它结合了通道注意的优势并考虑了位置信息。实验证明，该方法在ImageNet分类、目标检测和语义分割任务中表现出色，且计算开销小，易于集成经典模型。

摘要由CSDN通过智能技术生成

Coordinate Attention for Efficient Mobile Network Design

Coordinate Attention for Efficient Mobile Network Design(协调关注高效移动网络设计)

code：https://github.com/houqb/CoordAttention

paper：https://arxiv.org/pdf/2103.02907.pdf

2021 CVPR

摘要

最近关于移动网络设计的研究已经证明了通道注意(例如，挤压和激励注意)对于提高模型性能的显着有效性，但它们通常忽略了位置信息，而位置信息对于生成空间选择性注意图非常重要。在本文中，我们提出了一种新的移动网络注意机制，将位置信息嵌入到通道注意中，我们称之为“坐标注意”。与通过二维全局池化将特征张量转换为单个特征向量的通道注意不同，坐标注意将通道注意分解为两个一维特征编码过程，分别沿着两个空间方向聚合特征。这样可以在一个空间方向上捕获远程依赖关系，同时在另一个空间方向上保持精确的位置信息。然后将得到的特征图分别编码为一对方向感知和位置敏感的注意图，它们可以互补地应用于输入特征图，以增强感兴趣对象的表示。我们的坐标关注很简单，可以灵活地插入经典的移动网络，如MobileNetV2、MobileNeXt和EfficientNet，几乎没有计算开销。大量的实验表明，我们的坐标关注不仅有利于ImageNet分类，更有趣的是，在下游任务，如目标检测和语义分割中表现更好。

框架

在这里插入图片描述

结论

本文提出了一种新的移动网络轻量级注意机制——坐标注意。我们的协调注意力继承了先进性多种渠道注意方法(例如，挤压和引用注意)，它们对渠道间关系进行建模，同时利用精确的位置信息捕获远程依赖关系。在ImageNet分类、目标检测和语义分割方面的实验证明了该方法的有效性。
义分割方面的实验证明了该方法的有效性。