CNN用于医学图像轮廓检测的最近发展 论文阅读

Recent Advances in the Applications of Convolutional Neural Networks to Medical Image Contour Detection 是一篇关于神经网络用于医学轮廓检测的综述。

---

摘要：
深度学习技术，由于其快速发展，已经成为医学图像分析中很多机器学习问题的主要解决方案。深度卷积神经网络(DCNN)，作为深度学习技术中最重要的分支，被广泛应用到各种计算机辅助诊疗技术中，包括长期存在的和不断涌现的问题。图像轮廓检测是一个基础又具有挑战性的问题，已经有四十多年的研究历史。近来，由于CNN的发展，我们已经见证了轮廓检测方面极大的性能提升。除了在现有的自然图像数据集上追求好的表现，轮廓检测也在医学图像中发挥重要作用。放射图像和病理图像中的各类物体分割都需要对轮廓的准确检测。然而，有些问题，如不连续性和形状限制，其在CNN中的研究并不充分。因此，很有必要去阐明这些挑战性来鼓励新的探索。目前，基于CNN的轮廓检测方法的表现主要依赖于先进的CNN结构。对这些网络结构的设计思想和动机进行仔细的研究有助于轮廓检测。在这篇文章中，作者首先回顾了近年来医学图像轮廓检测的发展，并指出目前的前沿问题和挑战。然后谈论了一般CNN的发展和其在图像轮廓（边缘）检测上的应用，并对这些方法在细节上进行比较，阐明其优缺点。然后回顾最近这些网络在医学轮廓检测的应用和局限性，希望由此能够指出一些医学图像分析上的潜在方向。

医学图像轮廓检测综述

1. 挑战性和重要性

自然图像通常会包含多种类的语义对象，而医学图像则偏向modality-specific。特定模态的医学图像中，目标内部和物体之间的语义及纹理信息较少。因此，往往是目标的形状和结构在医学图像分割中起到了重要作用。
在图像获取和处理过程中的质量下降(噪声)也是个重要问题。噪声降低了真实边缘的可见度并引入了伪边缘信息。传统方法尝试在边缘检测前使用去噪算法，有一定的效果，但是并不promising。相对而言，利用目标物体先验知识的全局方法更能够克服局部噪声的影响。所以，一个好的轮廓检测算法，精细的边缘检测和物体的全局轮廓理解同样重要。
医学图像中，如何不受遮挡和伪影的影响，获取相连或重叠物体之间的(弱，破损)边缘是个长期存在的问题。有些时候检测这些视觉不可见的边缘几乎是不可能的，一个可行的补救方法是将破损的边缘连接起来。这个问题是边缘检测中一个active的研究主题。早期，可变型模型是一种流行的技术，能够保证轮廓的连续性和光滑性，比如参数化和非参数化的主动轮廓模型。但是，由于基于特定的假设，这一领域目前不再流行。最近，Deep active contours使用神经网络来预测主动轮廓的演变。
除了直接的轮廓检测，一些文献研究如何从一系列不连续的轮廓段来得到全局的轮廓。但是由于其很强的先验假设，如对称性等，这些方法在实际数据集场很难应用。此外，有一些使用CRF，RNN和Autoencoder来完成轮廓补全的文章，如Shape Completion with Recurrent Memory。
人类能够从那些视觉不可见的地方推断出存在的轮廓，其中推理在这一过程中非常重要。进一步分析，应当与以下两个因素有密切的关系：
1. 基于周围信息的推理。
2. 对于Appearance的先验记忆。
这两种推理都大量利用需要context信息。然而，目前大多数CNN并没有把注意力放到这种类型的context信息中。目前语义分割任务中，很多工作利用CRF和MRF来结合context，但是对于边缘检测，这种方法是困难的，因为边缘含有较少的语义信息，需要对目标形状和结构更深的理解。Occlusion boundary detection via deep exploration of context 利用CNN中的深度信息实现被遮挡边缘的检测。
此外，对于有限标记数据的高效学习是一个重要的课题，因为医学图像中大量级的训练数据是难以获得的。然而CNN通常都需要大量数据来训练，所以半监督和无监督以及迁移学习在最近得到了讨论。Deep convolutional neural networks for computer-aided detection: Cnn architectures, dataset characteristics and transfer learning. 是一篇针对医学图像的迁移学习文章。同时，在网络结构上好的设计能够提高参数利用到的效率。

总结一下：
医学图像的特点是：1）modality-specific； 2）纹理和语义信息少；3）噪声严重
解决方案：1）边缘和轮廓检测； 2）从破损的边缘中连接出轮廓
具体方法：1）context信息； 2）先验记忆； 3）学习方法

2. 早期医学图像轮廓检测

在深度学习兴起之前，轮廓检测有很多方向， Robust nucleus/cell detection and segmentation in digital pathology and microscopy images: A comprehensive review. 是一篇很详细的综述。
按照发展流程大约如下：
1. 基于灰度的阈值分割。缺点是不适用于复杂的图像。
2. 基于分水岭的分割。缺点是容易因为噪声的影响导致过分割。Deep Watershed Transform for Instance Segmentation将其和深度学习结合起来。
3. 基于活动模型的分割。其中具有代表性的有水平集，参数模型(Snake，GVF)。An automatic learning-based framework for robust nucleus segmentation 在分割中结合了形状先验模型。这类方法的一个缺点是需要合适的初始化，同时我个人觉得演化过程中和图像的交互比较rigid，对于图像质量有较高要求。
4. 基于图模型的分割。对图像建立图模型，然后利用minicut算法求解。Normalized cut是其中比较优秀的一种。
5. 传统机器学习分割算法。其中基于piexl-wise的分类通常需要后处理来连接断裂的部分。基于superpixel-wise分类的算法提高了效率，但是形成superpixel的过程需要很好的贴合图像边缘。这类方法一个比较显著的缺点是：需要人为设计特征，这在很多医学应用中难以实现，或者说可行性较低。

CNN

这一部分我先略过

图像轮廓检测

作者首先简要回顾边缘/轮廓检测的历史，然后介绍基于CNN的新型轮廓检测方法。接下来介绍一些重要的端到端的CNN网络，实现了目前最好的轮廓检测方法。最后，指出现用方法的不足之处。
原则上来说，好的边缘/轮廓检测算法能够检测到目标轮廓而忽略物体内部或背景中的边缘。目前有一些方法在医学图像中获得成功的应用，但尚有一些advanced方法没有应用到医学图像中，文章将会讨论他们的优缺点，并阐述将其对医学图像的益处。

1. 轮廓检测的历史回顾

早期的代表：Canny通过局部信息得到边缘。其后的方法往往结合多尺度下的global和local的cues实现。其中有基于1）局部方向滤波器；2）谱聚类；3）稀疏重建；4）监督学习等等。具体可以看Edge and line oriented contour detection:State of the art。
CNN之前有几个代表性的边缘检测方法，至今仍在使用。
1. Global probability of boundary（gPb）。其在多尺度下计算局部有向梯度特征（亮度，颜色和纹理），然后通过normalized cut计算全局的谱分类来实现全局轮廓检测。在这个基础上，有oriented watershed and ultrametric contour map（OWT-UCM），multiscale combinationrial grouping（MCG）等方法。gPb方法一个主要缺点是效率低，1/240 FPS。
2. Structured Edge（SE）。这是使用随机森林进行边缘检测最成功的代表。其主要思想是利用结构化的学习，稠密的预测structures of patches，如直线，平行线，曲线，T连接，Y连接等等。这种方法的效率非常高，60 FPS。Robust muscle cell quantification using structured edge detection and hierarchical segmentation 将其应用到病理切片上。

2. CNN用于轮廓检测的先驱

为什么把这类方法叫做先驱，因为他们从传统思想中的edge patterns，structures 和多尺度等观念出发，利用了CNN对一个围绕一个中心点的pathes进行是边缘或者非边缘的判断。其中比较经典的是DeepEdge和DeepContour。
1. DeepEdge 使用多个层的特征输入到两个任务分支中。其中分类分支输出像素点是边缘的概率，the other regression branch is trained to learn the fraction of human labelers agreeing about the edge presence at a given pixel。最后结合两个输出来预测边缘。
2. DeepContour从局部patches中提取特征，并将这些特征作为额外的输入连同图像输入SE中。SE会将这些局部pathces分成不同种类的edge patterns。DeepContour首先训练CNN来生成丰富的特征，然后训练SE来预测边缘。通过这样一个过程，DeepContour在上述方法中取得了最好的效果。但是在效率上还是逊于SE。

3. FCN

FCN的引入引领了使用CNN进行dense predict的潮流。一方面使得实时的预测成为可能，另一方面大幅度提高了效果。
其改动点:
1. 去掉了全连接层，改成1*1的卷积。相对于分类来说，每个像素点只利用了其位置上的fm，而不是整个fm？
2. 利用转置卷积提高分辨率。
3. side outputs来利用多个卷积层的特征。

4. HED

HED是第一个将FCN成功应用到轮廓检测上的神经网络。其主要的贡献就在于side outputs和deep supervision。 HED中的side outputs不像FCN中直接结合起来或者DeepEdge分离的标签（？），HED中每个side output都直接用于预测edge。所以其网络的loss定义为：
Lside(W,w