空间注意力、通道注意力、混合注意力和 Self-Attention

最新推荐文章于 2024-09-01 15:31:46 发布

FitzFitzFitz

最新推荐文章于 2024-09-01 15:31:46 发布

阅读量1.3k

点赞数 17

分类专栏： BEV感知算法文章标签： BEV 自动驾驶 transformer

本文链接：https://blog.csdn.net/qq_45985260/article/details/139181047

版权

10 篇文章 1 订阅

订阅专栏

领域：深度学习，计算机视觉

空间注意力机制主要关注图像特征的空间位置，通过调整不同位置的权重来突出图像中重要的部分。

基本原理：
1. 特征图生成：从输入图像或特征图生成空间特征图。
2. 注意力图计算：使用卷积操作生成空间注意力图，表示每个空间位置的重要性。
3. 特征调整：将原始特征图与注意力图相乘，突出重要的空间位置。
关键论文：Woo, S., Park, J., Lee, J. Y., & Kweon, I. S. (2018). “CBAM: Convolutional Block Attention Module”. In Proceedings of the European Conference on Computer Vision (ECCV), 3-19. 论文链接

领域：深度学习，计算机视觉

通道注意力机制主要关注图像特征的不同通道，通过调整通道的权重来增强特定特征。

基本原理：
1. 特征图生成：从输入图像或特征图生成通道特征图。
2. 注意力图计算：通过全局平均池化和全局最大池化提取全局信息，再通过全连接层生成通道注意力图。
3. 特征调整：将原始特征图与通道注意力图相乘，增强重要的通道特征。
关键论文：Hu, J., Shen, L., & Sun, G. (2018). “Squeeze-and-Excitation Networks”. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 7132-7141. 论文链接

领域：深度学习，计算机视觉

混合注意力结合了空间注意力和通道注意力，能够同时关注图像特征的空间和通道维度。

基本原理：
1. 空间注意力：先通过空间注意力机制调整特征图的空间位置权重。
2. 通道注意力：再通过通道注意力机制调整特征图的通道权重。
关键论文：Woo, S., Park, J., Lee, J. Y., & Kweon, I. S. (2018). “CBAM: Convolutional Block Attention Module”. In Proceedings of the European Conference on Computer Vision (ECCV), 3-19. 论文链接

领域：深度学习，自然语言处理，计算机视觉

Self-Attention 是一种广泛应用于 Transformer 模型中的注意力机制，能够在全局范围内建模输入序列或特征图中元素之间的关系。

基本原理：
1. 计算注意力权重：对输入序列或特征图中的每个元素，计算其与其他所有元素的相似度。常用方法是通过点积计算相似度。
2. 加权求和：使用注意力权重对输入序列或特征图进行加权求和，得到新的表示。
3. 特征组合：生成新的特征表示，融合全局上下文信息。
关键论文：Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I. (2017). “Attention is All you Need”. In Advances in Neural Information Processing Systems (NeurIPS), 5998-6008. 论文链接

空间注意力：关注特征图的空间位置。关键论文：CBAM
通道注意力：关注特征图的通道信息。关键论文：Squeeze-and-Excitation Networks
混合注意力：结合空间和通道注意力。关键论文：CBAM
Self-Attention：在全局范围内建模元素之间的关系，广泛应用于 Transformer 模型。关键论文：Attention is All you Need

每种注意力机制都有其独特的优势和应用场景，根据具体需求可以选择合适的注意力机制以提升模型性能。