[TMI 2020] Co-Learning Feature Fusion Maps From PET-CT Images of Lung Cancer

摘要

论文主要做pet-ct联合分析。现有pet-ct图像分析始讲两种模态分开分析或者基于特定的任务融合两个模态的信息。这些方法忽略了跨模态的空间变化视觉特征（意思是没有充分考虑模态间的关系，且不同模态对于不同目标具有不同的优先级–某一模态能更好的捕获某一目标）
本文目标：基于新的监督CNN改善多模态，即pet-ct中互补信息的融合；这个CNN可以学习互补信息融合方式一进行多模态医学图像分析；
过程：1）对每个模态进行特征编码；2）利用编码特征得到空间变换融合map,这个map量化了各模态不同空间位置的重要性；3）融合map和编码特征map相乘，获得不同位置的多模态互补特征表示；4）利用多模态互补特征进行图像分析。
针对的任务：检测和分割多区域（肺，纵隔，肿瘤）；实验对象：肺癌的pet-ct图像数据集；baseline：有三个；结果：检测和分割精度都高于baseline

引言

PET: 18F-氟去氧葡萄糖（18F-FDG）正电子发射型断层扫描

CT：计算机断层扫描

PET-CT：结合可PET检测功能不正常区域的敏感性和CT良好的解剖结构定位功能。

在PET中，病变对FDG的吸收强于正常结构，

方法

Materials

Architecture

结构如Fig.1 （图中数字表示特征的channel数）

主要由4个部分组成：
两个encoder：分别对PET和CT进行编码，得到与各自模态最相关的特征；encoder的输入是2D的slice image。
一个co-learning和融合部分：获得spatially varying fusion map，然后用这个map对每个模态的不同位置encoder特征进行加权。（包含多尺度）
一个重构部分：fusion的多尺度特征（上一输出）卷积，上采样，多尺度特征融合，最后进行预测。

Modality-Specific Encoders

对每个模态对应有一个encoder，获得与输入图像模态相关的特征。
encoder结构：包含4个卷积块，每个卷积块包含两个卷积层（卷积特征）和一个最大池化层（对卷积特征下采样）；在每次卷积后都进行以0为均值，unit variance的batch normalization；BN后进行leaky relu激活。

Multi-Modality Feature Co-Learning and Fusion

该模块包括两个部分：

1. co-learning：
   输入：两个模态的编码特征 ${\hat{F}}_{CT},{\hat{F}}_{PET}$，大小均为$h\times w\times c$；
   将两个特征进行堆叠得到${\hat{X}}_{multi}$， 为一个$h\times w\times m\times c$，$m=2$为模态数；对