CNN+Transformer再突破！拿下一区TOP！_hybrid cnn-transformer-CSDN博客

本文链接：https://blog.csdn.net/2401_88190197/article/details/145408647

CNN+Transformer持续发力，一举拿下多篇一区成果！比如模型LEFormer，便通过这两者结合，参数量狂跌20倍！模型ScribFormer，则有效克服了现有医学图像分割的局限，取得了SOTA效果！

主要在于，这种结合方式，能够充分融合CNN在局部特征提取方面的优势，和Transformer在全局信息建模及长距离依赖捕捉方面的能力。不仅能提升模型性能，还能使模型更加灵活，适应多种任务需求，为我们的论文创新提供空间。

也因此，该思路一直热度不减，是高效涨点的利器！为让大家能够紧跟领域前沿，找到更多idea启发，我给大家准备了15种创新思路，原文和源码都有。主要涉及架构设计创新、特征融合策略优化……

论文原文+开源代码需要的同学看文末

论文：CST-YOLO: A Novel Method for Blood Cell Detection Based on Improved YOLOv7 and CNN-Swin Transformer

内容

该论文提出了一种基于改进YOLOv7和CNN-Swin Transformer融合的新型小目标检测模型CST-YOLO，专门用于血液细胞检测任务，显著提升了小目标检测的精度，证明了其在小目标检测任务中的有效性。尽管计算复杂度有所增加，但CST-YOLO在检测精度上的提升使其成为一种有潜力的医学图像处理工具。

论文：ScribFormer: Transformer Makes CNN Work Better for Scribble-based Medical Image Segmentation

内容

该论文提出了一种名为ScribFormer的新型CNN-Transformer混合模型，用于基于涂鸦（scribble）监督的医学图像分割任务。该模型包含三个分支：CNN分支、Transformer分支和注意力引导的类别激活图（ACAM）分支，引入了ACAM一致性损失，通过高级卷积特征监督低级卷积层，进一步优化模型性能。在减少医学图像分割中手动标注工作量的同时，能够生成高质量的像素级分割结果，为弱监督医学图像分割提供了一种有效的解决方案。

论文：SCTNet: Single-Branch CNN with Transformer Semantic Information for Real-Time Segmentation

内容

该论文提出了一种名为SCTNet的单分支CNN架构，用于实时语义分割任务。SCTNet通过在训练阶段引入一个Transformer语义分支来提取长距离上下文信息，并利用提出的CFBlock（Conv-Former Block）和语义信息对齐模块（SIAM），将Transformer的语义信息传递给CNN分支。在推理阶段，仅部署单分支CNN，从而在保持高效率的同时实现高精度分割，通过可视化结果展示了其在提取高质量长距离上下文的同时保留细节的能力。

论文：BRAU-Net++: U-Shaped Hybrid CNN-Transformer Network for Medical Image Segmentation

内容

该论文提出了一种名为BRAU-Net++的新型U形混合CNN-Transformer网络架构，专门用于医学图像分割任务。该网络通过整合CNN的局部信息学习能力和Transformer的长距离依赖捕捉能力，有效解决了传统CNN在医学图像分割中对长距离依赖建模不足的问题，它能够动态地、基于查询地选择最相关的键值对，从而在降低计算复杂度的同时提高模型性能。此外，网络还引入了通道-空间注意力模块，用于增强多尺度特征之间的交互，并补偿下采样过程中丢失的空间信息。