CNN 和 Transformer 是深度学习中两种强大的模型,它们各自在图像处理和自然语言处理领域取得了巨大成功。将这两种模型融合起来,可以创造出一种新型的架构,以利用 CNN 在空间特征提取方面的优势和 Transformer 在处理序列数据方面的能力。
沃的顶会汇总了36种【CNN与Transformer融合】创新路径,希望给各位的学术研究提供一些帮助。
最新融合创新方案
#01 HAFormer
| 融合 CNN 与 Transformer 的高效轻量级语义分割模型
论文标题:Unleashing the Power of Hierarchy-Aware Features for Lightweight Semantic Segmentation
方法:本文提出了HAFormer模型,该模型结合了CNN的分层特征提取能力与Transformer的全局依赖建模能力,以应对轻量级语义分割挑战。HAFormer的整体架构包括三个组件:一个带有层次感知像素激活增强的CNN编码器,一个高效的Transformer编码器,以及一个轻量级的解码器。
创新点: