医学图像彩色化相关--20201208论文笔记Colorization of CT images to improve tissue contrast for tumor segmentation

1.Colorization of CT images to improve tissue contrast for tumor segmentation

彩色CT图像以提高肿瘤分割的组织对比度

摘要：由于肿瘤和健康组织之间的强度值intensity values非常接近，从灰度医学图像数据中分割肿瘤是困难的。本文提出了一项研究，说明如何彩色CT图像分割之前可以解决这个问题。预先着色的数据强调了肿瘤组织和健康组织之间的组织密度差异，从而更容易识别肿瘤组织。该方法能准确、高效地将代表肿瘤和健康组织的像素清晰着色。然后对相关的分割过程进行剪裁，以利用这些颜色数据。结果表明，彩色化可以显著减少分割时间，并且可以在普通硬件上实现。为了验证该方法的有效性，本文采用了一种基本的阈值分割方法，并对该方法进行了着色和不着色。为了评价该方法，我们从10个数据集(476个切片)计算了不同大小和组织组成的肿瘤的假阳性(FP)和假阴性(FN)。着色方法表明，在10个病例中有9个病例的FP较低，在10个数据集中的5个病例的FN较低，在统计学上有显著差异。

1.引言

在治疗病人的肿瘤时，特别是癌症患者，了解肿瘤的大小和形状是至关重要的。CT扫描的图像切片数量可达数十到数百张，由于时间和资源的限制，手动提取或分割这些肿瘤是一项繁琐而费力的任务。有效和高效的分割例行程序将有巨大的好处，各种治疗选择，如手术，放疗和化疗。然而，目前的分割方法有各种各样的问题，使其无法在实际的临床环境中使用，包括:(1)计算资源，(2)完成分割的时间长(小时)，(3)需要类似病例或训练数据的图谱，以及(4)针对特定肿瘤类型的专门化。彩色是提高CT扫描中肿瘤分割的一个潜在领域。提出的假设是，分割前对图像进行着色可以通过增加相邻解剖结构的颜色对比度来提高分割效果。目标是提供一个快速而有效的分割解决方案，用于临床设置。如果可以通过着色过程进一步提高分割方法的准确性，则可以减少完整分割过程所需的时间和资源。

1.1。一般图像着色

本节旨在重点讨论特定于数字医疗数据的技术之前，简要介绍一些正在研究的比较流行的方法。更多的正在被创造和改进，而不是在这里实际讨论。Levin、Welsh、Horiuchi、Qu、Liu。然而，医疗数据强加的约束，没有解决的着色方法提出。CT、MRI、血管造影等医学数据通常采用灰度渲染，医学图像数据的区域很少明确定义，解剖结构经常相互融合。参考图像的使用可能是不可能的，因为病人的解剖结构随时间变化，以及不同病人之间的变化。由于医学图像的复杂性，它们要么需要在采集时着色，要么需要使用更健壮的技术着色。

1.2。彩色CT图像

大多数CT图像是灰度渲染的，限制了可用于分割的信息量，一般不包括彩色分割方法。彩色渲染的医学图像，如彩色多普勒、功能性MRI和PET/CT[6]，要么应用过于具体，要么没有被广泛采用。彩色多普勒成像[7]产生的血流图像，不同的颜色和梯度分别代表血流方向和速度。彩色多普勒血流受限，不适用于肿瘤或器官的渲染。图1a显示了彩色多普勒的截屏样本。功能核磁共振(fMRI)如图1b所示，呈现大脑的活动，用于神经学应用。神经元活动引起脑血流量、血容量和血氧合的变化。核磁共振成像是通过获取被激活和休息的大脑的图像差异来呈现的。得到的图像以伪彩色呈现，以显示特定活动和大脑功能[8]之间的相关性。一些研究表明，PET/CT图像比单独的PET或CT更有效，可以帮助更好地检测病理，特别是对缺乏经验的保健专业人员[9]。

图1所示。彩色数字医学图像数据的例子。(a)颈动脉彩色多普勒血流[10];(b)脑功能磁共振成像研究疼痛刺激对肠易激综合征[11]的影响。(为了解释图的说明中对颜色的引用，请参考本文的web版本。) 

1.3。颜色分割方法

颜色分割方法可以从灰度法扩展，结果表明，利用一个像素的所有彩色通道比每像素只利用一个通道的灰度方法效果更好[13,14]。然而，从文献中可以看出，使用色彩来改善分割仍然是一个研究的热点。对一般数字图像和数字医学图像进行颜色分割。彩色区域增长是一种常用的方法，它利用图像中的空间和色彩强度信息对区域进行分割。颜色区域增长检测感兴趣区域的相邻像素，如果相邻像素满足空间和颜色强度准则，则将其加入感兴趣区域。基本色域生长方法快速、易于实现。这些方法利用在图像中发现的空间和颜色信息，不需要训练。彩色区域生长方法的缺点之一是易受噪声影响:当感兴趣区域的值与背景图像的值相似时，彩色区域生长方法的效果不佳。为了弥补这些缺陷，可以采用高级分割方法来实现颜色区域生长。Tremau和Borel、Shih和Cheng、Gomez、Fondon。如果:(1)该像素不属于另一个区域，(2)该像素的纹理低于阈值，(3)新像素与区域内已存在的像素颜色强度相似，则选择该像素作为该区域的一部分。如果最终的区域不是最优的，则用新的阈值重复区域生长过程。由于当前彩色医学成像技术的挑战，大多数肿瘤分割技术都是基于灰度的方法。使用着色方法，可以将数字医学图像转换为颜色空间，然后应用颜色分割。Tavakol[19]彩色红外热成像，提高对乳腺肿瘤的检测。采用基于CIELAB颜色空间的伪彩色编码方法对图像进行着色，然后采用模糊c-均值方法和k -均值方法进行分割。Juang和Wu[20]在彩色转换图像上应用了彩色k -均值分割算法，并取得了成功的结果。虽然这些方法没有最终证明彩色化的灰度医学图像数据显著改善分割，结果是令人鼓舞的，并显示了未来的应用前景。这些方法应用于纹理和形状比较一致的图像数据(如乳腺红外图像、脑MRI)。对更复杂图像(如腹部扫描)的进一步研究将有助于在进行分割之前确定彩色灰度医学图像数据的好处。

1.4。动机

颜色分割方法利用在每个颜色像素中发现的多通道信息，没有处理时间的缺点。对于医学图像，彩色分割方法比灰度分割方法具有更好的分割效果。然而，正如所讨论的，图像着色的大部分研究并不是在数字医学图像上完成的。在先进的技术可以被开发和实施之前，它首先需要确定在分割之前着色数字医学是有益的。这里定义的着色是将图像从灰度空间转换为颜色空间的过程。本文的工作探讨了彩色化是否能显著提高CT图像的分割精度，同时保持易于使用、快速和只需要普通的计算资源。

2.方法

该方法是半自动的，由三个步骤组成:(1)着色，(2)分割，(3)后处理。

2.1。彩色化

方法初始化与用户选择一个感兴趣的区域(ROI)第一片肿瘤的CT数据集。这ROI选择识别健康组织的肿瘤,密度Houndsfield而言的最大和最小组织单元(胡)ROI的获得和设置为像素的范围是彩色的。ROI不需要精确匹配肿瘤的大小和形状，但是对于复杂的数据集，比如组织密度不均匀的高钙化肿瘤，ROI必须将肿瘤完全包含在第一个切片中，这样着色过程才有效。对于均匀性肿瘤，我们发现ROI不需要完全包住肿瘤，因为一小块肿瘤就足以代表肿瘤的完整组织范围，并与健康组织区分开来。选择ROI后，将ROI范围内未包括的组织密度设为黑色，并假定为非肿瘤组织。这些像素被忽略在分割过程中减少计算时间，并允许该方法运行在一个标准的桌面或笔记本电脑。根据生成的颜色映射为每个灰度像素分配一个颜色值(R, G, B)。为了生成颜色图，将变量V计算为像素的组织密度(HU值)与ROI组织密度范围的比值。在Gonzalez等人[24]引入的方法的基础上，开发了一种配色方案，其中组织密度的最低值为红色，随着组织密度值的增加，逐渐向绿色过渡，并继续由绿色过渡到蓝色，进入下一个组织密度增加的范围。这个过程将组织密度转换成红色、绿色和蓝色通道的8位彩色像素。

这种颜色作图使得与肿瘤距离较近的组织具有相似的RGB值。HU值接近于肿瘤最小值的像素以红色为主，HU值接近于最大值的像素以蓝色为主。用这种方法绘制的图像可以增强肿瘤和健康组织的对比。此外，为了减少计算负荷，数学被有意地保持简单。可以完成更复杂的映射，但会显著增加计算时间，因此需要的不仅仅是普通硬件。这个简单的配方结合纹理在OpenGL允许实时调整颜色，以提高肿瘤和健康组织之间的对比度。OpenGL的纹理类似于创建并将数据粘贴到屏幕上，它比逐像素绘制图像更快，并允许用户实时看到结果。这一步的目标不是实际地给解剖染色，而是使用颜色来强调肿瘤和健康组织之间的梯度，以提高分割。调整后的着色过程的例子如图2所示。左图为原始CT灰度图像，右图为着色过程的最终结果。实际的肿瘤(来自金标准)在虚线黄色中突出显示作为参考。

2.2。颜色阈值分割

为了研究彩色图像在肿瘤分割中的有效性，提出了一种基本的阈值分割算法。阈值分割并没有得到广泛的应用，它被认为是一种较旧的、比其他分割方法更不有效的方法，这一点很重要。然而，这证明了一个很好的测试方法，因为理论上认为，添加颜色信息可以极大地改善分割结果，即使使用阈值分割这样的原始方法。一个阈值的因素,F,是由(1)计算从彩色的空间颜色组件,区别在红、绿、蓝通道的像素颜色值平均整个ROI的RGB值和(2)从每个像素空间组件ROI的中心(即种子点)。

图2所示。彩色化过程:(左)灰度化可视化的原始CT图像。(右)最终图像着色和调整后，肿瘤组织范围以外的组织被设置为黑色。肿瘤用黄色标出。(为了解释图的说明中对颜色的引用，请参考本文的web版本。)

2.3。后处理

这种后处理涉及对分割区域实施侵蚀和扩张形态学操作，以消除分割噪声，使用5*5平方结构元素。侵蚀过程消除了小于5*5个像素，而膨胀过程在分割区域内填充了小于5*5像素。

2.4。实时调整

可以调整初始化过程中选择的感兴趣区域的组织密度范围，以提高分割结果。这一步允许组织密度范围从用于着色的兴趣区域调整，以提高分割结果。图4为该病例示例，黄色虚线勾勒肿瘤轮廓(以金标准定义)，红色为分割结果。在这种情况下，该方法不能识别肿瘤中的大部分像素，产生了很高的假阴性误差。通过调整要着色的组织密度范围，可以在当前切片的分割对象上添加不同的像素。因为不属于范围的像素被忽略，调整参数非常快，允许在一秒内显示当前切片的结果。这是通过一个简单的用户界面完成的，该界面允许用户更改感兴趣区域的组织密度范围的最小值和最大值，并看到对单个图像切片实时应用的着色。一系列的100个切片需要平均1.9秒的时间来重新着色和重新生成分割结果。这个调整过程依赖于用户，将决策过程交给用户，并假定他们知道要切除的肿瘤。

图3所示。分割过程:(a)原始灰度图像，(b)在彩色图像上放置种子，(c)初始肿瘤分割。(为了解释图的说明中对颜色的引用，请参考本文的web版本。)

图4所示。分割结果(a)可以实时细化，得到更好的分割结果(b) (a)初始分割和(b)细化后分割。(为了解释图的说明中对颜色的引用，请参考本文的web版本。)

2.5。灰度分割

为了生成灰度图像，将数据按下式V缩放成8位强度图:

2.6。测试数据集和过程的描述

来自7个个体的10个不同的数据集被用来测试该方法。数据集#1是左侧卵巢的囊性畸胎瘤，#2是未成熟畸胎瘤，#3是右侧卵巢的粘液性囊腺瘤，数据集#4 - #10是神经母细胞瘤。表1提供了数据集的摘要。在本研究中，根据数据集的特征将其分为三组。密度均匀的肿瘤被归为A类;边缘模糊，组织不均匀的肿瘤属于B类;有异质组织的肿瘤被归为C类，有钙堆积的肿瘤被归为B类或C类，这取决于钙化的程度。从放射科医师那里获得的手工切片作为评价该方法性能的金标准。

该分割方法在使用双AMD Opteron 250 2.4 GHz处理器，4 GB内存，双512mb NVidia Quadro FX4500显卡，运行Linux Red Hat Enterprise 5.1的系统上使用Matlab进行。通过计算像素的误分类率来衡量准确率。如果分割算法将一个像素划分为肿瘤的一部分，但它不是黄金标准的一部分，那么该像素被认为是假阳性(FP)。如果一个像素按照金标准属于肿瘤的一部分，但算法没有选择该像素，则认为该像素为假阴性(FN)。两种比率都是用下列公式乘以100%计算的:

3.结果与讨论

对10个数据集分别进行了彩色和无彩色分割。在进行灰度分割时，除了颜色信息不存在外，分割过程的每个部分都是相同的。对于灰度，用户选择的初始区域确定HU的平均值。然后将这个平均值与每个像素的值进行比较，并将其作为Eq.(5)中的“color”分量，与搜索区域结合产生阈值因子。结合颜色结果的平均结果如表2所示，说明在分割之前采用所提出的着色过程可以提高分割精度。对所有10个数据集的结果(包括彩色和灰度)进行t - te st (po0.05)评估其统计学意义。t检验结果表明，着色法比灰度法有更好的结果。如p值所示，对于FP，颜色方法在10个数据集中的9个数据集中表现显著更好。对于FN值，着色方法为10个数据集中的4个给出了明显更好的值。

图5所示。黄色的是近似的肿瘤轮廓，红色的是实际的分割算法。灰度案例选择了很多不属于肿瘤的像素，导致FP值较高。(a) Dataset #1 colorization, slice #44， (b) Dataset #1 grayscale, slice #44， (c) Dataset #1 colorization, slice #49和(d) Dataset #1 grayscale, slice #49。(为了解释图的说明中对颜色的引用，请参考本文的web版本。)

图6所示。黄色是肿瘤的轮廓，红色是算法的分割。灰度法选取了很多不属于肿瘤的像素，导致FP值较高。(a)数据集#5灰度化，切片#18，(b)数据集#5灰度化，切片#18，(c)数据集#5灰度化，切片#38，(d)数据集#5灰度，切片#38。(为了解释图的说明中对颜色的引用，请参考本文的web版本。)

图7所示。黄色的是近似的肿瘤轮廓，红色的是实际的分割算法。灰度法选择了很多不属于肿瘤的像素，导致FP值较高。(a)数据集9灰度化，28切片，(b)数据集9灰度化，28切片，(c)数据集9灰度化，39切片，(d)数据集9灰度化，39切片。(为了解释图的说明中对颜色的引用，请参考本文的web版本。)

对于FN值越高，着色方法效果越差的两个数据集，t检验没有显著性差异。只有三个数据集对灰度法产生了更好的FN结果，在统计上有显著差异，但这些数据集对相同的数据集也给出了更高的FP值。经过仔细研究，灰度算法选择了图像中很多不属于肿瘤的像素，导致FN值较低，FP值明显增加。一个例子是图5所示,w h e r e t h e算法图像灰度方法,增加像素的数量是肿瘤的一部分,产生较低的FN价值,但增加像素的数量,没有肿瘤的一部分,产生一个FP价值高。值得注意的是，尽管统计上FN值对灰度法更好，但它产生的FP误差比着色法高得多。对于边缘模糊、组织不均匀的B类肿瘤，灰度法根本不能分割出正确的像素点，如图6所示。然而，着色过程提高了分割结果，分割了大部分的实际肿瘤。对比两种方法的结果，灰度阈值选择的组织大多为健康组织存在较高的假阳性误差。这可能是由于健康组织与肿瘤组织有着非常相似的组织密度，因此转化为相似的灰度强度。钙化的异质性C类肿瘤与正常组织的肿瘤像元值不同，但灰度法无法利用不同的值，无法对肿瘤组织进行分割。即使两个组织之间存在不同的梯度，灰度像素值也不足以产生良好的分割结果。这些结果如图7所示。同样，着色能够改善结果，如图所示。对所有数据集进行了直方图分析，表明数据集具有多模态分布。此外，还对数据集的roi进行了直方图分析，结果是单模态和多模态分布的混合，特别是对于高钙化的肿瘤。结果显示，在着色过程后，特别是在对感兴趣区域的组织密度范围进行实时调整后，分割结果有了显著的改善。实时进行该过程后的重新着色过程，每100幅图像切片对分割结果的重新计算平均为1.9秒。着色过程强调了图像内的组织对比度，也限制了组织密度的范围，将被检查分割。如果在分割前着色对基本的分割方法有显著的改善，那么假设基于高级强度的分割方法也可以从着色中获得很大的好处。在保持高效和接近实时性能的同时提高分割精度的潜力将导致更快的病例诊断和改善患者护理。

4.结论

提出了一种用于肿瘤分割的彩色CT图像框架。为了验证这一概念，本文采用了带着色和不带着色方法的基本色域生长技术。原始数据首先被着色到RGB空间中，并使用该着色数据实现区域生长方法。将该方法与使用原始灰度数据的相同区域增长方法进行了比较。着色方法在大多数测试用例中都有显著的改善。计算了每个数据集的统计p值，并产生了强有力的证据，证明差异在统计学上是显著的。另外，彩色区域增长分割方法在商品硬件上的处理时间在每片1秒以下。这些结果证明了在医学图像中使用彩色图像可以显著提高肿瘤的分割精度。

5. 未来的工作

未来的工作将涉及增加更先进的分割算法的着色方法，如概率方法算法或模糊分割。此外，附加的预处理步骤如强度不均匀性校正(IIC)可以进一步改善彩色映射和结果分割。最后，对不同颜色映射在分割算法上的研究，从RGB空间转换到HIS空间，在HIS空间分割图像是一个可行的选择。在连续切片之间移动ROI的方法也必须改进，以考虑到肿瘤形状、大小或位置的突变。