利用卷积神经网络对DWI的急性缺血性病变进行全自动分割

论文题目：Fully automatic acute ischemic lesion segmentation in DWI using

convolutional neural networks

论文地址：

(PDF) Fully Automatic Acute Ischemic Lesion Segmentation in DWI Using Convolutional Neural Networks​www.researchgate.net

前言

本论文不属于MICCAI2018的会议论文，只是由于在看MICCAI2018的一篇关于脑部急性缺血病变分割的论文时，引用到了这篇论文，仔细找了一下，发现这篇论文还是有值得学习的地方的。不知道你在做医学图像分割的时候，困扰你最多的问题是什么，反正以我的实验经验来看，最多的就是假阳性的问题，降低假阳性率，才是提升Dice的关键，这个问题在这篇论文中有一定体现。

这篇论文中有一个十分重要的图画的有些难看，导致整体阅读感觉不是很良好，虽然有些细节没有get到，但是整体架构什么的还是值得学习的，特别是最后一个降低假阳性的结构。

 

核心内容

1. 用两个DencovNet搭建了一个Ensemble的EDD网络，用来分割。
2. 构建了一个MUSCLE网络去消除假阳性。

数据集和表现

741个subject：274个作为训练集，106个作为验证集，361个作为测试集

mDice=0.67

sDice=0.61(s=小病变区域)

lDice=0.83(l=大病变区域)

任务：病变与非病变区域的二类分割

数据预处理

这里的数据预处理最重要的一步就是Patches的抽取，这里抽取的策略是：

对一张图片中标记为病变部分的所有像素进行采样。对于每个像素，我们在它周围提取一个patch。该像素位于patch中的随机位置。结果，每个patch通常包含属于病变和组织/背景的像素。如果像素位于非常大的病变的中心，则基于其提取的patch可能包含仅属于病变的像素。病变的像素簇通常具有多个像素（例如，20个）。可以生成该数量的patch（即20）。

这样做既可以进行数据增强，又可以平衡数据数量。

在这里，取的patch大小是64×64，因为经过32×32，,128×128的对比实验可以发现，64×64大小的patch性能更加好，解释是：

当训练阶段的输入patch尺寸较小（32×32）或较大（即完整图像尺寸为128×128）时，CNN在语义分割任务中表现不佳，因为它们包含的不足或过多的背景信息。虽然小斑块可以帮助区分病变与正常组织，从而将假阴性减少到最小，但网络难以区分伪影和真实病变。结果，引入了大量误报。在输入是完整图像切片的另一种极端情况下，包括伪像和损伤在内的小物体很容易被许多卷积和聚集消除。因此，引入的假阳性很少，但有更多的假阴性。与此同时，CNN忽略了许多真阳性，使检测率下降。毫不奇怪，中等大小（64×64和96×96）的片段能够实现假阳性和假阴性数量之间的权衡，因此整体上的Dice系数增加到达到最佳值。

网络结构

整体结构：

整体网络架构

网络简介：

上图为一种基于CNN的DWI急性缺血性病变分割系统。它包括EDD网络（由2个DeconvNet组成）和MUSCLE Net。EDD网络对输入DWI进行语义分割。根据EDD网的输出，提取含有小病变的斑块，用MUSCLE对其进行评估，从而去除许多假阳性。从而得到了细化的分割。

 

EDD网络：

EDD网络结构

网络简介：

我在开头说的有一个图画的很难看，说的就是这个图，真的是很难看。But this is not the point,作者用的框架是Caffe,所以是channel first,把通道放在了前面，作者经过一系列对比实现发现Patch是64×64大小的时候网络性能比较好，后面就是和普通U型网络差不多的结构，再后面是通过几个卷积层把两个DeconvNet的输出的特征图进行Ensemble,最后进过一个阈值处理输出二值结果。另外一个就是他将输入图片与特征直接连接，作者说这样可以利用原始图片更精细的调整特征图，不知道真的假的，可以试试。

 

位置检索池化：

另外一个值得注意的地方就是这两个DeconvNet用的池化也是位置检索池化结构，也就是把编码路径的池化过程中的位置记录下来，到解码的时候按照这个位置去unpooling,这个在原始DeconvNet里面有介绍，原理图如下：

位置池化

MUSCLE Net:

1. 输入：

输入策略

解释：

首先，通过阈值化EDD网络的输出的概率分割图，得到二值病灶分割图。在二值分割图的基础上，利用连接分量分析法（应该是连通域）检测小的候选病灶。在图像的周围提取多个尺度的原始图像块，并得到通过EDD网络计算的相应的概率分割图。这个过程如图6所示。真正的病灶(真阳性)被标记为阳性，假阳性被标记为阴性。

 

2.网络结构：

MUSCLE网络结构

其实这个网络结构是一个比较简单的分类网络，主要是对前面分割出来的小区域图像进行判断，到底是不是假阳性区域，MUSCLE Net输出的结果是实例级而不是像素级，这些实例级是候选病灶的概率。然后用贝叶斯定理将它们与EDD网络给出的像素级概率进行融合。最终的语义分割结果因此得到。这里使用的损失函数是交叉熵函数，使用反向传播算法对其进行优化。

指标

这里用到了几个自定义指标：

Detection Rate

其中，N表示所有受试者的数量，NTP表示任何真阳性(TP)病变检测的受试者数量。由于FP可能误导临床医生，所以DR应该尽可能高。

 

上面四个的含义是：假阳性(FP)和假阴性(FN)的平均个数(m#)和平均像素大小(mS)

 

对比实验

定量指标：

对比实验

定性指标（请看第三列和第四列，MUSCLE Net的表现）：

 

与其他网络的对比：

对比实验

现有CNNs与我们提出的CNNs在两个测试数据集子集上的性能比较。其中一组由271名病灶较小的受试者组成，另一组由90名病灶较大的受试者组成。结果表明，EDD网络的性能明显优于现有的CNN体系结构，特别是在第一个子集上。MUSCLE Net通过去除更多的假阳性，同时保持真实阳性，进一步改善了它。在每个列中，粗体数字表示最显著的性能。这些比较分别发生在小群体和大群体之间。病灶大的受试者的检出率都是100%，所以没有发现粗体数字。

 

总结

在本文中，我们提出了一种新的框架，基于深CNNs来分割急性缺血性病变在DWI。据我们所知，这是针对这个问题开发的第一个全自动方法。该算法在一个大型的真实临床数据集上进行了验证，达到了最先进的水平，平均Dice系数为0.67。

虽然EDD + MUSCLE Nets的结合取得了很好的效果，但是提出的方法仍然有一些局限性:首先，多尺度图像中对象的语义分割仍然是一个挑战，还没有从根本上解决。其次，训练和测试不是端到端的，这会降低系统的效率。最后，在第二阶段，我们只考虑假阳性。然而，仍然有少数的假否定必须纠正。

今后，还可以在几个方面进一步改进。特别地，应该收集更多的DW图像用于训练和测试。我们的方法能够自动生成急性缺血性病灶分割图。专家可以根据自动分割图创建手动注释，这样在时间和精力上就不会那么昂贵了。此外，还可以调整该框架，使端到端培训成为可能。最后但并非最不重要的是，我们提议的网络中的卷积可以扩展到3D，这可能会减少更多的误报。3D卷积要求图像斑块和/或卷在3D中是各向同性的(Kamnitsas et al.， 2015, 2016b)。然而，我们数据集中的图像切片非常厚，重采样等简单过程不能提供令人满意的结果。因此，我们考虑采用图像超分辨率技术(Oktay et al.， 2016)来增强三维图像。然后三维卷积可以用在我们的CNNs中。

 

Last But Not The Least

我感觉这篇文章最吸引人的地方就是自己设置了一个假阳性排除的网络，其实最后就是一个分类网络，去区分到底是不是假阳性，根据实验来看，这种方法的确有效，但是实验过程中相对麻烦，并不是端到端的训练，可以根据这个思路往下发展，说不定可以设计一个更有效的排除假阳性的网络！另外，Ensemble的思想可以借鉴，但是好像在正规论文中，很少提到这个，这个一直都是用在比赛中，并不算是什么创新。

 

谢谢大家，我是冯爽朗！