屠榜的新注意力机制:助力涨点

最新推荐文章于 2024-06-27 05:00:00 发布

浪子私房菜

最新推荐文章于 2024-06-27 05:00:00 发布

阅读量448

点赞数

分类专栏：竞赛实验创新

本文链接：https://blog.csdn.net/niuxuerui11/article/details/118944771

版权

竞赛实验创新专栏收录该内容

8 篇文章 2 订阅 ¥29.90 ¥99.00

订阅专栏

本文提出了一种名为极化自注意力（Polarized Self-Attention, PSA）的新型注意力机制，适用于Pixel-wise regression任务，如人体姿态估计和语义分割。PSA在通道和空间维度保持高分辨率，减少信息损失，并采用Softmax-Sigmoid联合非线性函数，提高了模型在像素级任务上的性能，达到SOTA效果。" 123531894,9188130,element-plus自定义主题配置实战,"['前端开发', 'Vue', 'ElementUI', 'element-plus']

摘要由CSDN通过智能技术生成

导读

基于双重注意力机制，本文针对Pixel-wise regression的任务，提出了一种更加精细的双重注意力机制——极化自注意力。在人体姿态估计和语义分割任务上，作者将它用在了以前的SOTA模型上，并达到了新的SOTA性能，霸榜COCO人体姿态估计和Cityscapes语义分割。

写在前面
注意力机制是一个被广泛应用在各种CV任务中的方法。注意力机制根据施加的维度大致可以分为两类：通道注意力和空间注意力。对于通道注意力机制，代表性的工作有SENet[2]、ECANet[3]；对于空间注意力机制，代表性的工作有Self-Attention[4]。随着空间和通道注意力机制的提出，很自然的，结合空间和通道两个维度的双重注意力机制也被提出，代表工作有CBAM[1]，DANet[5]。

基于双重注意力机制，本文针对Pixel-wise regression的任务，提出了一种更加精细的双重注意力机制——极化自注意力（Polarized Self-Attention）。作为一个即插即用的模块，在人体姿态估计和语义分割任务上，作者将它用在了以前的SOTA模型上，并达到了新的SOTA性能，霸榜COCO人体姿态估计和Cityscapes语义分割。