TransFuse:融合变压器和cnn用于医学图像分割

医学图像分割——众多临床需求的先决条件——在卷积神经网络(cnn)的最新进展中得到了显著的发展。然而，它在建模显式的远程关系方面存在普遍的局限性，现有的解决方法，借助于构建深度编码器和激进的下采样操作，会导致冗余的深度网络和局部细节的丢失。因此，分割任务需要一个更好的解决方案，以提高建模全局上下文的效率，同时保持对低层细节的强大把握。在本文中，我们提出了一种新的并行分支架构TransFuse来解决这一挑战。TransFuse以并行的方式将transformer和cnn结合在一起，可以以一种更浅显的方式有效地捕获全局依赖项和低层空间细节。此外，本文还提出了一种新的融合技术—融合模块，可以有效地融合两个分支的多层级特征。大量的实验表明，TransFuse在包括息肉、皮损、髋关节和前列腺分割在内的二维和三维医学图像集上都能获得最新的最先进的结果，参数显著降低，推理速度提高。