集成Vision Transformer 的概率模型改进了复杂的息肉分割

标题

摘要

结直肠息肉在结肠镜检查中被发现，与结直肠癌密切相关，因此息肉分割是诊断和治疗计划的重要临床决策工具。然而，准确的息肉分割仍然是一个具有挑战性的任务，尤其是在涉及微小息肉和其他肠道物质导致高假阳性率的情况下。以往基于监督二值掩码的息肉分割网络可能缺乏对息肉的全局语义感知，导致在复杂场景中对息肉的捕捉和区分能力不足。

本文提出了一种新颖的高斯概率引导语义融合方法，该方法逐步融合息肉位置的概率信息与由二值掩码监督的解码器。
研究者的概率建模集成视觉Transformer网络（PETNet）通过简单类型的卷积解码器有效抑制特征噪声，并显著提高了像素和实例级别的表达能力。代码可在以下网址获取：
代码地址

方法

如图1所示，PETNet是一个端到端的息肉分割框架，包含三个核心模块组。
(1) 编码器组采用视觉Transformer主干网络，结合混合Transformer注意层，在四个尺度上编码远程依赖特征。
(2) 高斯概率建模组由高斯概率引导的类似UNet的解码分支（GUDB）和高斯概率诱导过渡（GIT）模块组成。
(3) 二值解码器组包括一个类似UNet的结构分支（UDB）、一个融合模块（Fus）和一个级联融合模块（CFM）。

实验结果