论文笔记：ViT Adapter——Transformer与CNN特征融合，屠榜语义分割！

于 2024-12-23 16:12:23 发布
阅读量1k 收藏 11
点赞数 6
文章标签： 论文阅读 transformer cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42978535/article/details/144670850
版权

一、背景与挑战

语义分割任务旨在对图像中的每一个像素进行分类，这一任务在图像分割、医学图像分析、自动驾驶等领域有着广泛应用。近年来，卷积神经网络（CNN）凭借其强大的局部特征提取能力在图像分割领域取得了显著进展。然而，CNN虽然能够有效捕捉局部信息，但其对于全局上下文的建模能力较弱，尤其是在图像中的远距离依赖关系方面存在局限性。

为了弥补这一不足，Transformer（特别是Vision Transformer，ViT）在计算机视觉领域得到了广泛的应用。ViT通过自注意力机制能够捕捉图像中的长距离依赖关系，并取得了非常好的性能。ViT在语义分割中的应用也取得了突破性进展，但是其计算开销和训练难度相对较高。

针对这种问题，ViT Adapter的提出提供了一种创新性的方案，将ViT的优点与CNN的局部特征提取能力相结合，从而实现更高效的特征融合，最终提高语义分割的性能。

二、ViT Adapter简介

ViT Adapter的核心思想是通过在ViT模型中引入一个适配器（Adapter）模块，将CNN提取的局部特征与Transformer的全局特征有效融合，从而提升模型对图像内容的理解能力。

1. Transformer与CNN特征融合

ViT Adapter的关键创新点在于如何将CNN和Transformer的特征进行高效融合。具体地，ViT Adapter通过以下步骤进行特征融合：

  • CNN特征提取：首先通过CNN提取图像的低级特征，这些特征通常具有很强的局部信息。
  • Transformer编码：然后使用ViT模型对图像进行全局特征建模。ViT通过自注意力机制捕捉图像中的全局上下文信息，弥补CNN在远距离依赖建模方面的不足。
  • 适配器（Adapter）模块：最后，ViT Adapter通过设计一个适配器模块将CNN和Transformer的特征进行融合。这个适配器模块可以灵活地调整CNN和Transformer特征的权重，从而使得模型能够在保证计算效率的同时，充分利用两者的优点。
2. 适配器的设计

ViT Adapter的适配器模块主要由以下几个部分组成：

  • 卷积层（Conv Layers）：首先使用卷积层将CNN提取的特征映射到与ViT特征维度相同的空间，保证CNN特征能够与ViT的全局特征兼容。
  • 自注意力机制（Self-Attention）：然后，利用自注意力机制对CNN和ViT的特征进行加权融合。这个过程能够自动学习不同特征的重要性，从而对不同任务进行针对性的优化。
  • 激活函数与归一化：通过ReLU等激活函数以及批量归一化，进一步提升模型的非线性表示能力。

三、ViT Adapter在语义分割中的应用

1. 模型架构

ViT Adapter的整体架构如下所示：

+------------------+        +-----------------------+        +------------------+
|    CNN Backbone  | ------> |    ViT Backbone       | ------> |   ViT Adapter    |
+------------------+        +-----------------------+        +------------------+
  • CNN Backbone：用于提取局部特征，通常使用ResNet、EfficientNet等经典卷积网络作为骨干网络。
  • ViT Backbone：用于提取全局特征，通常使用预训练的ViT模型。
  • ViT Adapter：在CNN和ViT的输出之间添加适配器模块，实现特征的融合和优化。
2. 特征融合流程
  • 局部特征提取：首先，输入图像通过CNN提取局部特征。CNN擅长捕捉物体的边缘、纹理等局部信息，这些信息对于图像的分割是至关重要的。
  • 全局特征建模：接着，使用ViT模型对图像进行全局上下文的建模。通过自注意力机制，ViT能够捕捉远距离的依赖关系，从而对图像进行全局的理解。
  • 特征融合与适配：最后，ViT Adapter通过适配器模块对CNN和ViT的特征进行融合。融合后的特征被送入后续的解码网络进行语义分割。
3. 损失函数

在ViT Adapter的训练过程中，采用了常见的交叉熵损失函数用于监督学习。此外，为了提升模型的训练稳定性和鲁棒性，还使用了其他辅助损失（如边缘损失、区域损失等）。

四、实验与结果

1. 实验设置

ViT Adapter在多个标准语义分割数据集上进行了测试，包括PASCAL VOC、Cityscapes和ADE20K等。这些数据集包含了不同场景和目标类别，能够有效测试模型的泛化能力。

2. 性能对比

实验结果表明，ViT Adapter在多个语义分割任务中超越了现有的主流方法，尤其在Cityscapes数据集上取得了显著的性能提升。具体而言，ViT Adapter在mIoU（Mean Intersection over Union）指标上比传统的CNN模型提高了约4%-5%。

  • PASCAL VOC：ViT Adapter相较于传统方法提升了3%的mIoU。
  • Cityscapes：在复杂街景数据上，ViT Adapter较ResNet-50和ViT模型提高了4%的mIoU。
  • ADE20K：在这个多类别的分割任务中，ViT Adapter同样超越了之前的模型，提升了整体分割精度。
3. 推理速度与计算复杂度

尽管ViT Adapter引入了Transformer特征，但由于其适配器模块的高效设计，模型的计算复杂度相对较低，推理速度也能够满足实时要求。通过对模型的量化和剪枝，ViT Adapter能够在多个平台上实现高效的推理。

五、代码实现

以下是使用ViT Adapter进行语义分割的代码实现（基于PyTorch）：

import torch
import torch.nn as nn
from torchvision import models
from transformers import ViTFeatureExtractor, ViTForImageClassification

class ViTAdapter(nn.Module):
    def __init__(self, num_classes):
        super(ViTAdapter, self).__init__()
        # CNN Backbone (ResNet)
        self.cnn_backbone = models.resnet50(pretrained=True)
        self.cnn_backbone.fc = nn.Identity()  # Remove fully connected layer
        
        # ViT Backbone (Pre-trained)
        self.vit_backbone = ViTForImageClassification.from_pretrained("google/vit-base-patch16-224-in21k")
        
        # Adapter Module to fuse CNN and ViT features
        self.adapter = nn.Conv2d(1024 + 768, 512, kernel_size=1)
        self.classifier = nn.Conv2d(512, num_classes, kernel_size=1)
    
    def forward(self, x):
        # Extract features using CNN
        cnn_features = self.cnn_backbone(x)
        
        # Extract features using ViT
        vit_features = self.vit_backbone.get_inputs_for_generation(x)
        vit_features = vit_features.last_hidden_state
        
        # Flatten features for concatenation
        cnn_features = cnn_features.view(cnn_features.size(0), -1, 1, 1)
        vit_features = vit_features.view(vit_features.size(0), -1, 1, 1)
        
        # Concatenate CNN and ViT features
        fused_features = torch.cat((cnn_features, vit_features), dim=1)
        
        # Apply Adapter
        adapter_output = self.adapter(fused_features)
        
        # Final classification layer
        output = self.classifier(adapter_output)
        
        return output

# Instantiate model
model = ViTAdapter(num_classes=21)

# Example input (batch size = 2, image size = 224x224)
input_image = torch.randn(2, 3, 224, 224)

# Forward pass
output = model(input_image)
print(output.shape)  # Output shape (batch_size, num_classes, height, width)

六、总结

ViT Adapter提出了一种创新的方式，将CNN的局部特征和ViT的全局特征有效融合，从而提升了语义分割的性能。通过实验验证，ViT Adapter在多个数据集上都取得了显著的性能提升，尤其是在处理复杂场景和长距离依赖关系时，展现了Transformer和CNN结合的强大优势。

未来，ViT Adapter的适

【即插即用完整代码】最新的局部特征提取能力和全局特征建模能力~ICLR MobileViTAttention！
m0_58508552的博客
01-26 288
【即插即用完整代码】最新的局部特征提取能力和全局特征建模能力~ICLR MobileViTAttention！
【从零开始大模型开发与微调】AI 人工智能大语言模型 LLM：语言与思维——实践的融合
AI天才研究院
07-04 2803
在人工智能领域，大语言模型（Large Language Models, LLMs）已经取得了令人瞩目的成就。这些模型基于深度学习，通过在大量文本数据上预训练学习语言知识，被广泛应用于各种自然语言处理（NLP）任务，如图像描述、对话系统、翻译、摘要生成等。但这些模型的性能和表现，特别是其对语言和思维的理解，仍存在诸多困惑和疑问。大语言模型（LLMs）：指基于深度学习技术，通过在大量文本数据上预训练学习语言知识，能够理解和生成自然语言的大规模模型。自监督学习。
屠榜语义分割！VIT-adapter模型复现
m0_63642362的博客
08-20 1472
Ade20K冠军模型：VIT-adapter。Ade20K数据集上分割miou为58.0。AIstudio已知miou最高的模型
【论文精读】ViT-Adapter
weixin_44934783的博客
02-09 1598
ViT-Adapter
ViT-Adapter：Vision Transformer Adapter for Dense Predictions
qq_45821275的博客
11-09 1281
作者将原使用特定的模型进行预训练并微调的训练方式，更改为了用ViT进行预训练，在微调阶段加入了Adapter,其中ViT-Adapter相当于先使用FPN学习多尺度的先验信息，并加入了Injector和Extractor，用来给ViT主干传递空间先验特征和从ViT中得到新的先验特征，最终该模型在语义分割方向取得了不错的效果。
VIT Adapter【Vision Transformer Adapter for Dense Predictions】论文笔记
qq_39333636的博客
07-08 3070
cvpr2022收录文章。使用cnn提取空间先验特征，和transformers分支进行信息交融，成为新一代屠榜backbone，提升了下游任务的准确度。
屠榜语义分割！ViT-Adapter：用于密集预测的视觉Transformer适配器
阿木寺的博客
05-23 3524
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：集智书童点击进入—>CVer 微信技术交流群Vision Transformer Adapter for Dense Predictions论文：https://arxiv.org/abs/2205.08534代码（即将开源）：https://github.com/czczup/ViT...
ViT-Adapter: 创新视觉 Transformer 模型的适配器框架
gitblog_00040的博客
04-25 852
ViT-Adapter: 创新视觉 Transformer 模型的适配器框架 ViT-Adapter[ICLR 2023 Spotlight] Vision Transformer Adapter for Dense Predictions项目地址:https://gitcode.com/gh_mirrors/vi/ViT-Adapter 项目简介 ViT-Adapter 是一个针对 Visio...
VISION TRANSFORMER ADAPTER FORDENSE PREDICTIONS
读书郎
09-04 1702
这项工作研究了一种简单而强大的视觉转换器 (ViT) 密集预测任务适配器。与最近将视觉特定归纳偏差纳入其架构的高级变体不同，由于先前的假设较弱，普通 ViT 在密集预测上表现不佳。为了解决这个问题，我们提出了 ViT-Adapter，它允许普通 ViT 实现与视觉特定转换器相当的性能。具体来说，我们的框架中的主干是一个简单的 ViT，可以从大规模多模态数据中学习强大的表示。在转移到下游任务时，使用无预训练的适配器将与图像相关的归纳偏差引入模型中，使其适用于这些任务。
遥感语义分割文献摘要汇总1
最新发布
xyz73的博客
11-02 1071
基于我们的实验，我们提出的方法在挑战中给出的小样本OpenEarthMap数据集的验证集上，将一个简单微调的SegGPT的加权mIoU从15.96提升到35.08。此外，为了增加同一物体的特征相似性，同时保持不同物体的特征区分性，像素信息通过一个简单的边界辅助融合模块( Boundary Auxiliary Fusion Module，BAFM )传播到整个物体区域，其中预测的物体边界作为高级指导来细化低级卷积特征。此外，现有的旋转不敏感算法的置信度分数的振荡，是由显著的变化产生的。提供全面的训练样本。
（参考写法）Transformer-Based Visual Segmentation:A Survey
sinat_41942180的博客
11-04 517
视觉分割旨在将图像、视频帧或点云分割为多个片段或组。这种技术具有许多现实世界的应用，如自动驾驶、图像编辑、机器人感知和医学分析。（视觉分割定义+应用举例）在过去的十年里，基于深度学习的方法在这个领域取得了显著的进展。（之前是基于什么发展的）最近，Transformer成为一种基于自注意力机制的神经网络，最初设计用于自然语言处理，在各种视觉处理任务中明显超越了以往的卷积或循环方法。（提出本文要用的方法Transformer）
【算法学习】ViT Adapter——Transformer与CNN特征融合，屠榜语义分割！
qq_50001789的博客
02-04 4971
论文题目：《VISION TRANSFORMER ADAPTER FOR DENSE PREDICTIONS》 本工作主要针对普通ViT缺少视觉特定的归纳偏置问题做改进，设计了ViT-Adapter模块，利用交叉注意力，充分将CNN中局部空间建模的能力融入到ViT模型中，在**保持原有ViT架构不变，即ViT语义特征不减弱的情况下，灵活地将图像相关的归纳偏置注入到ViT模型中**，重构密集预测任务所需要的细粒度多尺度特征，最终实现下游任务良好的应用。
CNN 与 ViT 的完美结合 | TransXNet: 结合局部和全局注意力提供强大的归纳偏差和高效感受野
hellozhxy的博客
01-12 2848
在以前的方法中，为了实现 token 之间的交互，通常会使用 1×11 \times 1 卷积层，但这会导致相当大的计算开销。中的注意力矩阵都是动态生成的，使用了前几个块中收集的局部和全局信息，从而增强了网络的表示能力，融入了强大的归纳偏差和扩展的有效感受野。，通过有效利用不同的特征提取方法，提高了网络的表示能力，同时在前馈网络中引入多尺度的特征聚合，为各种视觉任务提供了出色的性能。、目标检测和语义/实例分割任务上进行了大量实验，结果表明，所提方法在性能上超越了以前的方法，同时具有更低的计算成本。
探索未来视觉——ViT-Adapter开源项目深度解析
gitblog_00145的博客
08-09 850
探索未来视觉——ViT-Adapter开源项目深度解析 ViT-Adapter[ICLR 2023 Spotlight] Vision Transformer Adapter for Dense Predictions项目地址:https://gitcode.com/gh_mirrors/vi/ViT-Adapter 在视觉领域，深度学习的突破不断推动着AI前进的步伐。今天，我们要向大家隆重推荐...
ICLR 2023 ViT-Adapter模型复现教程（跑通）
m0_52807769的博客
11-29 3455
在Vit-Adapter模型的复现中博主遇到了很多问题，也是得到了很多大佬的指点，所以博主希望在这里记录一下以供日后学习参考。
最新剪枝方法｜CNN与ViT模型都适用！（已开源）
CV_Autobot的博客
03-24 3902
作者| 小书童 编辑|集智书童点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码！结构化剪枝通过从神经网络中删除结构分组的参数来实现模型加速。然而，参数分组模式在不同的模型中差异很大，使得依赖于手动设计的分组方案的特定于体系结构的剪枝器无法推广到新的体系结构...
Vit Adapter跑通记录
m0_51540477的博客
03-15 2082
这次跑通vit adapter代码废了不小的劲，网上可供参考的资源太少，所以尝试记录一下配置过程（本博客是在跑通后等训练过程又不想早早去吃饭的情况下写的，鉴于博主是小白且整个配置过程较为漫长，所以可能有遗漏，仅供参考）
ViT还能怎么卷？TransXNet：下一代CNN和ViT结合新范式！
CV_Autobot的博客
11-10 1385
作者|派派星 编辑| CVHub点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【Transformer】技术交流群本文只做学术分享，如有侵权，联系删文导读本文依旧从经典的ViTs说起，即基于MHSA构建远距离建模实现全局感受野的覆盖，但缺乏像CNNs般的归纳偏差能力。因此在泛化能力上相对较弱，需要大量的训练样本和数据增强策略来弥补。针对...
transformer 与CNN特征融合
05-13
Transformer 和 CNN 是两种不同的神经网络结构，Transformer 主要用于序列数据的处理，而 CNN 主要用于图像和语音等数据的处理。它们的特点和应用场景不同，因此在实际应用中一般不会直接将它们进行融合。 但是，在某些特定的任务中，可以使用 Transformer 和 CNN 进行特征融合来提高模型的性能。例如，在图像描述生成任务中，可以使用 CNN 提取图像的视觉特征，然后将这些特征输入到 Transformer 中进行文本生成。在语音识别任务中，也可以使用 CNN 提取语音的声学特征，然后将这些特征输入到 Transformer 中进行文本转换。 另外，还有一些结合 Transformer 和 CNN 的模型，例如 Vision Transformer (ViT) 和 Convolutional Sequence to Sequence (ConvS2S)。ViT 是一种基于 Transformer 的图像分类模型，它使用 CNN 将图像转换为序列数据，然后使用 Transformer 进行分类。ConvS2S 则是一种基于 CNN 和 Transformer 的序列到序列模型，它使用 CNN 提取输入序列的特征，然后使用 Transformer 进行序列到序列的转换。 总之，Transformer 和 CNN 的特征融合需要根据具体的任务和数据情况来选择合适的方法和模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一只蜗牛儿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值