论文地址:HyperDense-Net: A hyper-densely connected CNN for multi-modal image segmentation
这是一篇使用denseNet进行多模态医学图像分割的论文
思路很简单,在传统的多模态使用过程中,常常是下图这两种方法
Single Dense Path就是直接将多模态concate到一起作为一个input放到网络中进行训练学习
Dual Dense Path就是先将多模态单独进行网络的学习,在stream的最后在合并在一起
但是这两种方法对于多模态的融合效果并不好,因此本文提出来一种使用densenet的方法将多模态融合在一起
这是denseNet的数学表达式,x为特征图,下边为层数,也就是每一层的输入是之前所有层的特征图进行concate
本文在此基础上进行多模态的改进,数学表示如下图
上标是模态的index,这个式子以两个模态为例,其实简单来说,就是每一层的输入是之前所有模态所有层的特征图进行concate
这张图可以直观的看出方法
本文使用的loss:
Dice similarity coefficient (DSC):
Modified Hausdorff distance (MHD):
Average surface distance (ASD):
Absolute Volume Differences: