在医学图象中,多模态数据因成像机理不同而能从多种层面提供信息。多模态图像分割包含重点问题为如何融合(fusion)不同模态间信息,本文主要记录笔者最近所读,欢迎批评指正补充
1. A review: Deep learning for medical image segmentation using multi-modality fusion (Array 2019)***
融合策略分类
综述,按照方法的位置将融合策略分为三大类:Input-level, Layer-level, Decision-level.
数据集:
几种多模态数据集
2. Co-Learning Feature Fusion Maps from PET-CT Images of Lung Cancer (TMI 2019)****
Abstract : Layer-level fusion, U-net, PET-CT, Lung cancer
Method : 对CT与PET各一个encoder,不同层feature stack后经conv得到权重,与concat后的feature点积,得加权feature map。
Experiment : 肺癌数据,对比layer-level fusion : MB(multi-