腹部多器官分割的眼动引导双路径网络

标题

摘要

这项研究提出了一种新的方法，名为眼动引导双路径网络（Eye-Guided Dual-Path Network，EG-DPN），用于腹部多器官分割。这项工作的主要目标是提高医学影像分析中的多器官分割准确性，并减少对高成本手动标签的需求。研究团队发现，通过记录放射科医生在阅读腹部图像时专注的区域的眼动信息，可以有效地指导网络模型关注分割任务所需的相关对象或特征。因此，他们提出了一种方法来整合这种眼动信息，并将其与图像信息相结合，以提高分割模型的性能。

EG-DPN包括了三个关键设计：
1）双路径编码器，用于整合眼动信息；
2）跨注意力Transformer模块（CATM），将人类对图像的认知信息嵌入网络模型中；
3）多特征跳跃连接（MSC），结合空间信息以抵消分割内部细节的丢失。此外，他们还利用离散小波变换（DWT）提供器官位置和边缘信息，进一步优化了分割结果。
代码地址

方法

图1显示了网络架构的概述。细节系数 Xdc、图像 Ximg 和注视信息 Xgaze 被输入到网络进行分割。在解码阶段，近似系数 Xac 被融合以补偿全局信息。MSC代表多特征跳跃连接，CATM代表交叉注意力Transformer模块。

图2. MSC 在上采样过程中将两个路径的编码特征与特征相连，以抵消分割中的内部细节。

图3. CATM 利用交叉注意力有效增强了网络语义感知和人类语义感知之间的信息交互协作。卷积操作融合了来自两条不同路径的特征信息。

实验结果