TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation（阅读笔记）

• 代码：Beckschen/TransUNet
• 论文：https://arxiv.org/abs/2102.04306

Abstract

TransUNet:Transformers为医学图像分割做强大编码器。医学图像分割领域U-Net架构取得突出成果但在远程依赖关系上有局限，而序列预测transformer由于low-level细节不足导致定位能力受限，本文提出transformer与U-Net结合，transformer将CNN特征图编码为上下文序列，解码器对编码的特征上采样，再与高分辨率特征图结合实现精准定位，结合transformer的U-Net，是医学图像分割的有效方案。

Introduction

CNN特别是全卷积神经在医学图像分割领域主导地位，在一些变体中，像UNet用跳过连接方式的网络增强了细节上特征的保留，成功应用在医学图像处理领域。但是在质地形状等特征上的保留仍有局限性，因此，基于CNN特征提出self-attention机制，完全免除卷积运算符，完全依靠注意力机制,此前广泛应用与NLP，最近应用在图像识别上也颇有成效。

本文提出TransUNet，Transformer采用self-attention机制将来自卷积神经网络