CNN和Transformer创新结合，模型性能炸裂！

已于 2024-06-17 13:05:24 修改
阅读量3.2k 收藏 36
点赞数 6
分类专栏： 自然语言处理 深度学习 文章标签： cnn transformer 人工智能
于 2024-06-17 12:36:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chen695969/article/details/139740594
版权

CNN结合Transformer

【CNN+Transformer】这个研究方向通过结合卷积神经网络（CNN）的局部特征提取能力和Transformer的全局上下文建模优势，旨在提升模型对数据的理解力。这一方向在图像处理、自然语言处理等多个领域展现出强大的应用潜力，特别是在需要同时考虑细节和整体信息的任务中。通过融合两种网络结构，研究者能够设计出更为高效和准确的模型，以解决传统单一网络结构难以处理的复杂问题。此研究方向的发展不仅推动了深度学习技术的进步，也为实际应用提供了更丰富的解决方案。近年来，无数的研究者们对CNN结合Transformer这个领域的进行了大量研究，并产出了大量的学术成果。

1、SCTNet: Single-Branch CNN with Transformer Semantic Information for Real-Time Segmentation

方法

- SCTNet架构：提出了一种单分支卷积神经网络（CNN），该网络在训练时利用transformer作为语义分支来提取丰富的长距离上下文信息，而在推理时仅部署单分支CNN。

- CFBlock：设计了一种称为CFBlock（ConvFormer Block）的transformer-like CNN块，使用仅卷积操作模拟transformer块的结构，以学习transformer分支的语义信息。

- Semantic Information Alignment Module (SIAM)：提出了一种语义信息对齐模块，包括Backbone Feature Alignment (BFA)和Shared Decode

最低0.47元/天 解锁文章
【五 机器翻译与文本生成】【 5.3 神经机器翻译：Seq2Seq模型、Attention机制、Transformer】
再见孙悟空的专栏
03-12 31
各位技术宅们，今天咱们要掀开机器翻译的底裤，看看那些让AI突然开挂说八国语言的"黑魔法"。想象一下，十年前你用的翻译软件能把"how are you"翻译成"怎么是你"，现在DeepL已经能翻译十四行诗了，这中间到底发生了什么？咱们这就来拆解神经机器翻译的三板斧——Seq2Seq、Attention和Transformer，保证让你看完感觉自己能徒手搓个翻译AI！
51-6 Vision Transformer ，ViT 论文精读
AIgraphX
01-09 1711
ViT取代了CNN，打通了CV和NLP之间的鸿沟，而且挖了一个更大的多模态的坑。ViT未来有可能真就是一个简洁、高效、通用的视觉骨干网络，而且可以完全不用任何标注信息。当拥有足够多的数据进行预训练的时候，ViT的表现就会超过CNN，突破transformer缺少归纳偏置的限制，可以在下游任务中获得较好的迁移效果。
【深度学习】CNN+Transformer汇总
zhe470719的博客
05-08 1万+
这里写目录标题参考前言cnn与transformerConformer(国科大&华为&鹏城)详情 参考 1.CNN+Transformer算法总结 前言 总结了2021年以来，所有将CNN与Transformer框架结合的CV算法 在卷积神经网络(CNN)中，卷积运算擅长提取局部特征，但在捕获全局特征表示方面还是有一定的局限性。 在Vision Transformer中，级联自注意力模块可以捕获长距离的特征依赖，但会忽略局部特征的细节。 cnn与transformer CNN具有非常良好
【半监督学习】CNN与Transformer的结合
m0_61899108的博客
11-19 4255
​本文介绍了几篇结合使用CNN和Transformer进行半监督学习的论文，CNN&Trans（MIDL2022），Semi-ViT（ECCV2022），Semiformer（ECCV2022）。
8类CNN-Transformer混合架构魔改方案盘点，附23个配套模型＆代码
m0_54804970的博客
02-24 726
为进一步提高模型的性能，我们将。目前，它已经成为我们研究视觉任务、发文章离不开的模型。针对CNN+transformer组合方向的研究也成为了当下计算机视觉领域研究中的大热主题。CNN-Transformer架构凭借众所周知的优势，在视觉任务上取得了令人瞩目的效果，它不仅可以提高模型在多种计算机视觉任务中的性能，还能实现较好的延迟和精度之间的权衡。为挖掘CNN-Transformer混合架构更多的潜力，有关于它的各种变体的研究也逐步增多。为了方便同学们了解，我这次就和大家分享该架构。
AI融合新突破：CNN与Transformer的强强联合！
m0_73122726的博客
08-05 1161
同时，Transformer和CNN 被用作两个分支的编码器以捕获局部和全局特征。1）提出了ParaTransCNN网络，一个U形的医学图像分割架构，融合的CNN和Transformer组成的并行编码器。3）提出了一种新的融合模块，它将来自两个分支的信息进行组合和聚合，以获得最终的深度估计的全面表示，同时应用通道和空间注意来增强我们两个分支网络的表示能力。2）开发了一种有效的特征融合机制，名为相关加权融合（cwF），以协同整合由CNN和Transformer学习的局部和全局上下文特征，有效提高准确度。
【图像分类】CNN + Transformer 结合系列.4
m0_61899108的博客
08-09 7232
​介绍两篇利用Transformer做图像分类的论文：CoAtNet（NeurIPS2021），ConvMixer（ICLR2022）。CoAtNet结合CNN和Transformer的优点进行改进，ConvMixer则patch的角度来说明划分patch有助于分类。 ​
CNN-Transformer的结合模型
qq_62412943的博客
05-14 3800
卷积神经网络（CNN）是一种特殊的深度学习模型，它在图像处理领域取得了巨大的成功，并且在其他领域如自然语言处理、推荐系统和语音识别中也得到了广泛的应用。CNN的设计受到了人类视觉系统的启发，特别关注于如何从图像中自动学习和提取有用的特征。：激活函数在神经网络中起到至关重要的作用，它们增加了模型的非线性，从而使模型能够学习和逼近复杂的函数。：池化层通常用于降低特征映射的维度，减少计算需求，并增加模型的鲁棒性。：在全连接层中，模型会将前面层学习到的空间特征转换为用于分类或回归任务的输出。
【图像分类】CNN + Transformer 结合系列.1
m0_61899108的博客
07-24 1万+
​ 介绍三篇结合使用CNN+Transformer进行学习的论文：CvT（ICCV2021），Mobile-Former（CVPR2022），SegNetr（arXiv2307）. ​
融合Transformer与CNN，实现各任务性能巅峰，可训练参数减少80%
学姐带你玩AI的博客
05-11 2788
众所周知，通过多层卷积自动学习空间层级特征，能够有效提取图像局部特征。而通过自注意力机制全局建模，能够有效处理长距离依赖关系。通过结合这两者的优势，我们不仅可以还能举个栗子：混合架构Lite-Mono。该模型主要包含两个模块，CDC模块用于提取增强的多尺度局部特征，LGFI模块用于编码长距离的全局特征。实验表明，Lite-Mono在精度上优于Monodepth2，可训练参数减少了80%左右。目前，这种策略通过多种方式融合两种模型的优点。主流的方法包括早期层融合、横向层融合、顺序融合、并行融合等。
解锁CNN和Transformer正确结合方法，字节跳动提出有效的下一代视觉Transformer
weixin_40920183的博客
07-23 1772
机器之心报道来源：机器之心来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer，即 Next-ViT。Next-ViT 能像 CNN 一样快速推断，并有 ViT 一样强大的性能。由于复杂的注意力机制和模型设计，大多数现有的视觉 Transformer（ViT）在现实的工业部署场景中不能像卷积神经网络（CNN）那样高效地执行。这就带来...
CNN如何有效地与Transformer结合
weixin_42610010的博客
02-13 4010
CNN (卷积神经网络) 和 Transformer 结合的方法有很多，一般有以下几种常见的方法： 先使用 CNN 提取图像的特征，再使用 Transformer 对提取的特征进行处理和分析。 在 Transformer 的输入端加入 CNN 卷积层，使用 CNN 提取序列信息的特征，再送入 Transformer 对序列进行处理和分析。 在 Transformer 和 CNN 中间加入融合...
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
weixin_56836871的博客
02-06 2577
动机： 为啥挑这篇文章，因为效果炸裂，各种改款把各种数据集霸榜了：语义分割/分类/目标检测，前10都有它 Swin Transformer, that capably serves as a general-purpose backbone for computer vision. 【CC】接着VIT那篇论文挖的坑，transfomer能否做为CV领域的backbone，VIT里面只做了分类的尝试，留了检测/语义分割的坑，这篇文章直接回答swin transfomer可以 Transformer from
CVPR 2021 Oral | Transformer再发力！华南理工和微信提出UP-DETR：无监督预训练检测器...
迈微AI研习社 · 号主
03-22 410
华南理工和微信AI提出了random query patch detection的预训练任务，对DETR中的transformer进行无监督预训练，从而提高其目标检测的性能。>>回复“加群”加入迈微技术交流群，走在计算机视觉的最前沿 在之前最新CVPR2021论文收录合集中也强烈推荐过这篇论文，今天带大家分析一下。
2025年CNN与Transformer融合的创新点思路
学姐带你玩AI的博客
01-15 2802
这类结构其实一直都挺火的，核心在于他们的互补性。因为在一些复杂的AI应用中，单个模型很难同时高效处理多种类型的数据。如果结合CNN在图像处理上的强大能力和Transformer在序列数据处理上的优势，就可以增加模型处理的灵活性，提高计算效率。，刚刚过去的2024年就有相当多顶会顶刊成果，感兴趣的同学们抓紧。目前CNN+Transformer比较常见的创新就是架构设计创新、注意力机制优化、特征融合策略改进、预训练与微调策略创新、特定领域应用...本文根据这些方向提供。
CNN 与 Transformer 的强强联合！谷歌最新开源 BoTNet，ImageNet 达 84.7%准确率
极市平台的技术博客
01-29 2155
Conv+Transformer=BotNet，这是伯克利、谷歌最新提出的工作BotNet，它充分利用了CNN与自注意力的优势，在ImageNet上取得了84.7%的top1精度，同时文中各种实验分析也相当的详细。 本文首发于极市平台，作者Happy。转载请注明来源。 本文是伯克利与谷歌的研究在Convolution+Transformer组合方面一个探索，它采用混合方式同时利用了CNN的特征提取能力、transformer的内容自注意力与位置自注意力机制，取得了优于纯CNN(如ResNet、Effi
[2023年综述]将CNN和Transformer优势相结合的混合模型在计算机视觉领域的研究综述
qq_26402511的博客
07-25 2万+
近年来，CNN-Transformer混合模型在计算机视觉领域的研究已经成为热点话题之一。这种模型可以结合卷积神经网络（Convolutional Neural Network，CNN）和Transformer各自的优势，提高模型在多种计算机视觉任务中的性能。
CNN+Transformer算法总结（持续更新）
热门推荐
qq_45752541的博客
08-19 5万+
CNN与Transformer融合的视觉框架介绍
cnn与transforme并联融合的图像超分重建
最新发布
03-18
<think>好的，用户想了解如何将CNN与Transformer并联用于图像超分辨率重建的方法或实现。首先，我需要整理现有的知识，特别是结合参考的引用内容。引用1提到Enriched CNN-Transformer Feature Aggregation Networks，这应该是一个结合两者的方法。引用3介绍了AMFFN的结构，分为特征提取、多尺度特征提取、融合和重建，这可能对并联结构有帮助。 首先，CNN和Transformer并联的基本思路是什么？通常，并联结构会利用CNN提取局部特征，Transformer捕获全局依赖，然后将两者的特征融合。需要设计并行的分支，分别处理不同尺度的信息，或者互补的特征。 接下来，引用1中的方法可能采用了特征聚合的方式。可能需要具体说明如何将CNN和Transformer的特征进行融合，比如通过串联、相加或者注意力机制。此外，引用3提到的自适应多尺度特征融合可能在这里适用，比如在并联结构中提取不同尺度的特征，然后自适应地融合。 然后，实现步骤可能需要分模块说明：输入处理、并行CNN和Transformer分支、特征融合模块、重建模块。每个部分的具体实现细节，比如CNN可能用残差块，Transformer用自注意力机制，融合时用concat或加权相加。 还要考虑训练策略，比如损失函数的选择，引用3提到的可能使用L1损失或者感知损失。另外，数据预处理和增强方法也可能影响模型性能。 用户可能关心的点包括如何设计并联结构确保互补性，融合方法的选择，以及如何避免计算量过大。需要平衡模型复杂度和效果，可能提到轻量化设计，如深度可分离卷积或Transformer中的高效注意力机制。 最后，示例代码部分需要简单明了，展示并联结构的框架，可能使用PyTorch实现。需要确保代码符合用户需求，并解释关键部分，比如特征融合的方式。</think>以下为CNN与Transformer并联融合在图像超分辨率重建中的实现方法解析： ### 一、基础架构设计 1. **双分支并联结构** - **CNN分支**：采用残差密集网络提取局部纹理特征 $$ y_{cnn} = \mathcal{F}_{RDB}(x) $$ - **Transformer分支**：使用窗口注意力机制捕获全局依赖关系[^1] $$ y_{trans} = \mathcal{F}_{Swin}(x) $$ 2. **特征交互模块** 通过交叉注意力机制实现特征交互： ```python class CrossAttention(nn.Module): def __init__(self, dim): super().__init__() self.query = nn.Linear(dim, dim) self.key = nn.Linear(dim, dim) self.value = nn.Linear(dim, dim) def forward(self, cnn_feat, trans_feat): Q = self.query(cnn_feat) K = self.key(trans_feat) V = self.value(trans_feat) attn = torch.softmax(Q @ K.transpose(-2,-1), dim=-1) return attn @ V ``` ### 二、关键实现步骤 1. **特征对齐** - 使用1x1卷积统一通道维度 - 添加坐标注意力层增强空间信息感知[^3] 2. **自适应融合机制** $$ y_{fusion} = \alpha \cdot y_{cnn} + (1-\alpha) \cdot y_{trans} $$ 其中$\alpha$由可学习参数生成 3. **多尺度特征提取** 采用空洞卷积金字塔结构： ```python class ASPP(nn.Module): def __init__(self, in_ch): super().__init__() self.conv1 = nn.Conv2d(in_ch, 256, 1) self.conv2 = nn.Conv2d(in_ch, 256, 3, padding=6, dilation=6) self.conv3 = nn.Conv2d(in_ch, 256, 3, padding=12, dilation=12) self.conv4 = nn.Conv2d(in_ch, 256, 3, padding=18, dilation=18) def forward(self, x): return torch.cat([conv(x) for conv in self.convs], dim=1) ``` ### 三、训练策略 1. **混合损失函数** $$ \mathcal{L} = \lambda_1\mathcal{L}_{pixel} + \lambda_2\mathcal{L}_{perceptual} + \lambda_3\mathcal{L}_{adv} $$ 2. **渐进式训练** - 第一阶段：单独训练各分支 - 第二阶段：冻结主干网络训练融合模块 - 第三阶段：端到端微调 ### 四、典型实现方案 ```python class CTNet(nn.Module): def __init__(self): super().__init__() self.cnn_branch = ResidualDenseBlock() self.trans_branch = SwinTransformer() self.fusion = AdaptiveFusion(256) self.reconstruct = nn.Sequential( nn.Conv2d(512, 256, 3, padding=1), nn.PixelShuffle(2), nn.Conv2d(64, 3, 3, padding=1)) def forward(self, x): cnn_feat = self.cnn_branch(x) trans_feat = self.trans_branch(x) fused = self.fusion(cnn_feat, trans_feat) return self.reconstruct(fused) ``` ### 五、性能优化技巧 1. **局部-全局特征协调** - 在Transformer分支添加CNN风格的position embedding - 在CNN分支引入non-local attention模块 2. **计算量平衡** - 对高频区域使用CNN分支 - 对低频区域使用Transformer分支
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

X.AI666

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值