CNN和Transformer创新结合，模型性能炸裂！

CNN结合Transformer

【CNN+Transformer】这个研究方向通过结合卷积神经网络（CNN）的局部特征提取能力和Transformer的全局上下文建模优势，旨在提升模型对数据的理解力。这一方向在图像处理、自然语言处理等多个领域展现出强大的应用潜力，特别是在需要同时考虑细节和整体信息的任务中。通过融合两种网络结构，研究者能够设计出更为高效和准确的模型，以解决传统单一网络结构难以处理的复杂问题。此研究方向的发展不仅推动了深度学习技术的进步，也为实际应用提供了更丰富的解决方案。近年来，无数的研究者们对CNN结合Transformer这个领域的进行了大量研究，并产出了大量的学术成果。

1、SCTNet: Single-Branch CNN with Transformer Semantic Information for Real-Time Segmentation

方法

- SCTNet架构：提出了一种单分支卷积神经网络（CNN），该网络在训练时利用transformer作为语义分支来提取丰富的长距离上下文信息，而在推理时仅部署单分支CNN。

- CFBlock：设计了一种称为CFBlock（ConvFormer Block）的transformer-like CNN块，使用仅卷积操作模拟transformer块的结构，以学习transformer分支的语义信息。

- Semantic Information Alignment Module (SIAM)：提出了一种语义信息对齐模块，包括Backbone Feature Alignment (BFA)和Shared Decode