《MICCAI2019》Learning Cross-Modal Deep Representations for Multi-Modal MR Image Segmentation

传统CNN的多模态MR图像分析通常是一层或者多层的简单融合（通过简单的求和或者拼接）
针对上述问题，本文的创新点：
在监督的情况下进行图像的融合，即根据不同模式的信息来进行特征选择
具体步骤：挑选不同模式中对预测结果贡献程度最大的作为主模式，并且以此监督其他模式下的信息选择

背景1：

医学图像分析领域：
单模态：
基于卷积神经网络：
1.R-CNN（像素级的给分类任务，通过滑动窗口对每个像素进行分类）
2.FCNN（避免繁琐和内存不足额R-CNN，通过生成热图输出直接对输入图像进行分割）
3.U-Net（针对生物医学图像分割）

多模态：不同成像方式的信息融合

1.早期融合：输入阶段或者低水平特征阶段（a）
方法：输入阶段为单路径网络
低水平特征阶段为多路径网络
2.后期融合：高水平特征阶段，预测层之前，预测层中(b,c)
方法：多路径网络
3.多层融合：(d)
后期或者多层融合比早期融合能够产生更好的分割效果，并且后期或者多层融合采用多路径网络实现，并且最开始是由RGB-D图像需要将深度信息引入所得

网络模型：
FuseNet
encoder： VGG-16层模型

论文基于此进行修改将VGG-16修改为U-Net，构建成FuseOrigin-UNet，并且在此基础上为了减轻网络的训练参数， encoder中每一层的卷积核与U-Net相比都减半，从而得到文章中所用的基本网络模型FuseUNet

summation：对多模态输出的特征进行简单的求和或者叠加，思想与ResNet中的add层一致，即做值的叠加而不改变通道数
而FuseUNet所用的为Concatenation：改变通道数，不改变值

背景2：
不同模态对于病变的检测侧重点不同，存在局限性：
1.contrast-enhanced T1-weight (T1C) MRI：检测乳腺病变具有很高的敏感性，检测乳腺肿块具有较高的敏感性和较低的特异性，即与肿块无关的区域比如脏器，腺体组织等也被增强了
2.T2-weighted (T2W) MRI：能够减少病变中假阳性的结果，能够区分在所有增强的区域中正确区分出肿块的位置
因此需要考虑不同模式对于病变信息的检测

针对乳房肿块分割难点：
肿块大小和形状难以确定，尤其是边界不确定的针状肿块

网络模型：
核心思想：teacher-student network + activation-based attention transfer

监督式跨模态学习+注意力机制（attention mechanism）：

input1（主模态）：T1C
input2（辅助模态）：T2W
其中主模态产生监督信息，通过spatial attention来提取监督信息（input：主模态的特征；output：权值热图，用于指导主模态和辅助模态的信息选择）

总结：
文章提出FuseUnet来对T1C和T2W的MRI图像进行多路径网络处理，其中T1C为主模态，T2W为辅助模态，并且通过在特征融合层添加spatial attention来指导主模态和辅助模态之间的权重配置，但对于teacher-student Network的关键想法，即利用深层网络来训练浅层网络的概念在此文章上的目前发现