[深度学习从入门到女装]A Segmentation-aware Deep Fusion Network for Compressed Sensing MRI

论文地址：A Segmentation-aware Deep Fusion Network for Compressed Sensing MRI

 

这是ECCV2018上的一篇做脑部MRI重建和分割的论文

这个论文将两个任务CS-MRI重建和MRI脑部分割进行融合，使用两个任务相互之间互相改进

CS-MRI就是快速扫描低质量的MRI，速度快，但是清晰度没有MRI高，因此很多学者都在搞把CS-MRI转为MRI的工作

（a）就是正常采样的MRI，（b）是低质量快速采样的MRI，（c）是分割的label

 

SADPN（segmentation-aware deep fusion network） Model如上图所示，下边分模块介绍

 

Pre-RecNet

任务：Compressed Sensing MRI转MRI

使用DC-CNN作为该网络结构

网络中含有N个上图所示的模块

loss如上图所示

然后将这个网络进行pre-training

 

Pre-SegNet

任务：将MRI进行分割

网络结构采用2D U-Net

 

loss如上图所示

也进行pre-training

Deep Fusion Network

这个网络用于将Pre-RecNet和Pre-SegNet得到的feature map进行融合

1、Segmentation-aware Feature Extraction Module

就是从segNet中提取特征，过程如下，分别从conv1-conv10得到的feature map进行bilinear interpolation上采样到原图尺寸，然后把这些再concate到一起，得到240 *240 * 640 (32+32+64+64+128+128+64+64+32+32)尺寸的融合feature map，再使用1*1卷积缩小到240*240*32

2、The Feature Fusion cross Tasks

然后将上一步得到的segFeature copy，和pre-RecNet各层的feature map进行concate得到240*240*64，再用1*1缩小到240*240*32，对于recNet的每个block都进行这样的操作

 

The Fine-tuning Strategy

然后是对这两个网络进行融合之后的fine-tuning，在优化期间，Pre-RecNet和Pre-SegNet中的参数保持固定，而仅调整深度融合网络中的参数