基于上下文折扣的多模态医学图像分割证据融合

Evidence Fusion with Contextual Discounting for Multi-modality Medical Image Segmentation

摘要

由于信息源通常是不完美的，因此在多源信息融合任务中有必要考虑其可靠性。
本文方法

1. 提出了一个新的深度框架，使用Dempster-Shafer理论的形式合并多MR图像分割结果，同时考虑不同模态相对于不同类别的可靠性。
2. 该框架由编码器-解码器特征提取模块、证据分割模块和多模态证据融合模块组成，前者为每个模态计算每个体素的置信函数，后者为每个模态证据分配贴现率向量，
3. 使用Dempster规则组合贴现证据。通过最小化基于折扣Dice指数的新损失函数来训练整个框架，以提高分割的准确性和可靠性
   代码地址

本文方法

四个编码器组成，编码器特征提取（FE）模块对应于T1Gd、T1、T2和Flair模态输入；对应于每个输入的四个证据分割（ES）模块；以及多模态证据融合（MMEF）模块。

Evidential Segmentation

提出了一种基于DST的证据分割模块，以通过质量函数量化每个体素类别的不确定性。ES模块的基本思想是根据每个体素的特征向量和I个原型中心之间的距离，为K个类中的每个类和整个类Ω分配一个质量。输入特征向量可以使用任何FE模块获得，例如残差UNet、nnUNet
ES模块由一个输入层、两个隐藏层和一个输出层组成。第一输入层由I个单元组成，输入空间中的pI。输入向量x的原型层中单元i的激活为

其中γi>0 和αi∈[0，1]是两个参数。第二个隐藏层使用以下方程计算表示每个原型pi的证据的质量函数mi

其中uik是原型i对类ωk的隶属度，最后第三层组合了I质量函数m1、，mI使用Dempster组合规则来最终获得量化每个体素类别的不确定性的置信函数

Multi-modality Evidence Fusion

通过DST的discounting操作来解决源可靠性的量化问题。设m是Ω上的质量函数，β是[0,1]中的系数。贴现率为1−β的discounting运算将m转化为一个较弱、信息量较小的质量函数βm，定义为

上述折扣操作可以扩展到上下文折扣。这种操作可以表示关于不同上下文中信息源的可靠性的更丰富的元知识。它由向量β=（β1，…，βK）参数化，其中βK是在给定真类为ωK的情况下源是可靠的置信度。折扣类函数的完整表达式在中给出。在这里，我们只是给出了相应的轮廓函数的表达式，稍后将使用：

Discounted Dice Loss

实验结果