NeurIPS2021 HRFormer：HRNet又出续作啦！国科大&北大&MSRA提出高分辨率Transformer，开源！...

最新推荐文章于 2024-04-18 09:38:07 发布

我爱计算机视觉

最新推荐文章于 2024-04-18 09:38:07 发布

阅读量569

点赞数

文章标签：大数据算法 python 计算机视觉机器学习

本文链接：https://blog.csdn.net/moxibingdao/article/details/121173589

版权

国科大、北大和MSRA联合推出HRFormer，一种用于密集预测的高分辨率Transformer，它是HRNet的续作，已在人体姿态估计和语义分割任务上展现出优势，代码已开源。

摘要由CSDN通过智能技术生成

关注公众号，发现CV技术之美

本文分享NeurIPS 2021论文『HRFormer: High-Resolution Transformer for Dense Prediction』，HRNet又出续作啦！由国科大&北大&MSRA联合提出高分辨率Transformer《HRFormer》，代码已开源！

详细信息如下：

论文链接：https://arxiv.org/abs/2110.09408
项目链接：https://github.com/HRNet/HRFormer

导言：

在本文中，作者提出了一种高分辨率 Transformer（High-Resolution Transformer ，HRT），用于学习密集预测任务的高分辨率表示，而原始的视觉Transformer 只能处理低分辨率表示，并且具有较高的显存和计算成本。

HRT利用了高分辨率卷积网络（HRNet）中引入的多分辨率并行设计，并且在非重叠的局部窗口上执行自注意，提高了显存和计算效率。此外，作者在FFN中引入卷积，以便在没有连接的图像窗口之间交换信息。

通过实验，作者证明了高分辨率Transformer 在人体姿势估计和语义分割任务上的有效性，例如，HRT在COCO姿势估计上比Swin Transformer高1.3AP，参数减少50%，FLOPs减少了30%。

Motivation

Vision Transformer（ViT）在ImageNet分类任务中表现出了良好的性能。许多后续工作通过知识蒸馏，采用更深层次的结构，直接引入卷积运算或者重新设计输入图像token等方法来提高分类精度。此外，一些研究试图扩展Transformer以解决更广泛的视觉任务，如目标检测、语义分割、姿势估计、视频理解等。本文的重点是构建用于密集预测任务的Transformer，包括姿势估计和语义分割。

Vision Transformer将图像分割为大小为16×16的图像块序列，并提取每个图像块的特征表示。因此，Vision Transformer的输出表示失去了密集预测所必需的细粒度空间细节。Vision Transformer仅输出单尺度特征表示，因此缺乏处理多尺度变化的能力。为了减少特征粒度的损失并对多尺度变化进行建模，作者提出了包含更丰富空间信息的高分辨率