文献翻译：基于弱监督学习的激光散斑对比度原始复杂图像鲁棒血管分割

期刊：IEEE Transactions on Medical Imaging

1. 摘要

激光散斑对比成像(LSCI)被广泛应用于体内局部血流微循环的实时检测和分析由于其非侵入性和出色的时空分辨率。然而，由于病变区域血液微循环结构的复杂性和血管畸变的不规则性，使得LSCI图像的血管分割仍然面临很多困难。此外，LSCI图像数据标注的困难也阻碍了基于监督学习的深度学习方法在LSCI图像血管分割领域的应用。为了解决这些困难，我们提出了一种鲁棒弱监督学习方法，该方法选择阈值组合和处理流程来代替劳动密集型的注释工作来构建数据集的基础真值，并设计了基于UNet++和ResNeXt的深度神经网络FURNet。训练得到的模型实现了高质量的血管分割，在已构造数据集和未知数据集上都能捕获多场景血管特征，具有良好的泛化能力。此外，我们在栓塞治疗前后的肿瘤上验证了这种方法的有效性。这项工作为实现LSCI血管分割提供了新的途径，也在人工智能辅助疾病诊断领域取得了新的应用层面的进展。
关键字：血流，卷积神经网络(CNN)，激光散斑对比成像(LSCI)，弱监督学习，血管分割。

2. 引言

激光散斑对比成像(laser speckle contrast imaging, LSCI)是一种能够在空间和时间域提取相对血流信息的非侵入性成像技术。它已成为生物医学和分子成像研究[1]，[2]中流行的成像方式，如中风[3]，偏头痛，视网膜疾病[4]和皮肤病[5]。LSCI可以测量血管直径、密度、流速等微循环参数[6]、[7]、[8]。通过分析LSCI图像，可以了解微循环血管的形态。血管微循环血流中还可观察到炎症、水肿、肿瘤、辐射损伤等病理表现。然而，LSCI图像中存在大量的组织信号噪声，这使得LSCI图像的准确语义分割和血管特征提取成为一项具有挑战性的任务。

血管分割[9]，[10]是一个长期发展的医学图像处理任务。目前，主要有两种方法:传统的特征提取方法和基于深度神经网络的方法。
传统的特征提取算法，如区域生长和自适应阈值提取，都是通过先验知识提取特定的特征。这些方法具有速度快的优点，但鲁棒性和泛化能力有限。
近年来，基于卷积神经网络(CNN)的深度学习方法由于其出色的特征提取能力，在图像分割方面得到了巨大的发展[11]。然而，监督深度学习网络模型的性能在很大程度上依赖于数据集的质量，特别是在语义分割方面[12]，这需要非常精确的像素标注。一方面，医学图像标注需要专业的医学背景知识。另一方面，手工标注是劳动密集型的，这使得避免观察者之间的认知差异具有挑战性。

尽管对LSCI图像的血管分割已经有了大量的研究，但我们发现仍然存在一些问题。
首先，在标签成本高的情况下，通常会考虑预训练模型。然而，在正常组织区域数据集上的预训练模型在应用于病变图像时会出现明显的性能下降。众所周知，病变区域比正常组织更为复杂。不同病变阶段微循环组织的血管特征有很大的风格差异。因此，为监督学习标记每种病理类型是一件高成本的事情。
此外，由于其独特的成像原理，血流速度和深度信息包含在LSCI图像中，这导致使用传统方法对LSCI图像进行二值化的不合适。如图1所示，二值化后的标注对不同形态的血管没有明显的区分，如慢流血管和非病灶层血管。这实际上是信息的丢失。综上所述，LSCI图像的准确血管分割是非常困难的，我们需要找到一种方法来避免逐像素的标注工作。

图1：LSCI血管图像的一些手工注释结果，A:健康血管中的血管图像;B:复杂区域血管(肿瘤区域血管图像);放大图像是对感兴趣区域内相应区域的放大;虽然健康区血管的标记足够准确，但二值化不能反映LSCI图像的血流速度信息，并且将血流缓慢的血管或其他病灶层的血管标记为相同强度的血管，这被认为是一种信息丢失。而人工对肿瘤区域血管进行标记，则面临着标准基本统一、置信度不合适的问题，难以获得高质量的标记信息。

在这项研究中，我们提出了一种鲁棒的弱监督学习方法，用于复杂微循环血管区域的LSCI图像。该框架在疾病的不同阶段实现了组织区域的有效血管分割，进一步有助于介入栓塞治疗。此外，采用多组阈值组合来处理不同阶段的不同图像样式的图像。然后，对这些图像进行马尔可夫随机场(MRF)收敛。混合两部分图像后，对分割结果进行联合筛选。为了构建具有弱监督信息的LSCI血管分割数据集，我们在处理流程中采用阈值组合选择方法，取代了手工标注的繁琐操作。并利用该数据集训练深度神经网络分割模型。在不同类型的LSCI血管图像上验证了我们的模型性能，结果都很有希望，证明了该方法的泛化能力。该方法无需对LSCI图像数据集进行逐像素标注，即可实现对体表图像的有效血管分割，为LSCI在体内的应用提供了一种高效的方法。在混合数据集上的实验结果表明，与全局阈值分割(GTS)、动态阈值分割(DTS)、K-means聚类和CycleGAN等方法相比，本文方法具有更好的分割性能[53]。以下是本文方法论的主要贡献。
(1)构建兔耳肿瘤模型，进行LSCI实时血管成像，包括健康状态、肿瘤植入后和栓塞治疗后三个不同阶段。不同阶段的形象风格有明显的差异。（栓塞治疗是一种医学手段，主要用于阻断血管以治疗各种病症。具体来说，栓塞治疗通过将栓塞材料注入血管内，形成阻塞，减少或完全切断血液流向特定区域。）
(2)提出了一种弱监督学习与监督学习相结合的LSCI图像分割策略。该方法实现了高性能的分割，避免了传统监督学习中对高质量样本的依赖。
(3)所提出的分割模型能够有效分割具有不同特征的血管图像。在采集的小鼠脑血管图像数据集和CycleGAN生成的LSCI血管图像数据集上验证了模型的鲁棒性。

3. 相关工作

3.1 生物医学光学中的激光散斑对比成像

斑点是由相干光的随机干涉产生的。当相干光与随机散射介质相互作用时，光从介质内的不同位置散射到光电探测器上。散射粒子相对于光电探测器的排列会产生相长干涉和相消干涉[54]。通过使用相机对这些散射光进行成像，可以观察到干扰在空间中随机变化，从而产生随机变化的强度模式，称为散斑。散斑粒子的运动引起干涉波动，在光电探测器上表现为强度变化。散斑图案的时空统计提供了有关散斑粒子运动的数据。此外，可以通过测量和分析物体的时间变化或空间变化来量化物体的运动。通过对散斑进行成像并测量其空间模糊度，可以获得具有高时空分辨率的二维血流图。在血流量增加的区域，斑点图案的强度波动更快，斑点图案在这些区域变得模糊。通过分析散斑强度变化的空间对比，量化图像中的散斑模糊程度，从而得到相对血流的空间图。

LSCI仪器允许非接触式、全视野的组织血流成像，包括视网膜、皮肤和大脑，无需扫描。由于这些区域的微血管通常是浅表的，因此它们特别适合LSCI。全身皮肤灌注监测是LSCI最早的应用之一[14]，[15];在啮齿动物背部皮肤褶皱模型中，切除一部分皮肤并插入窗口，LSCI在量化微血管血流方面显着有效[16]。LSCI及相关技术的另一个早期应用是动物和人类视网膜血流的可视化和量化[4]。LSCI已成为应用最广泛的脑血流活体成像方法之一，特别是在正常和患病小动物模型中，包括脑功能激活[17]、中风[3]、肝癌微循环检测[13]等。

3.2 血管的语义分割

图像语义分割是一种旨在为图像中的每个像素分配唯一标签的过程，是计算机视觉领域的重要应用。在医学图像处理中，血管分割是一个热门的任务。针对这一任务已经进行了大量的研究，大致可以分为四类:基于血管增强滤波的算法、基于深度学习的算法、基于可变形模型的算法和基于跟踪的算法。

基于血管增强滤波的方法是通过检测像素周围的局部灰度变化来确定像素是否为血管区域。不同的滤镜有其各自的优点和缺点，因此单一的方法并不能对所有血管图像都有理想的增强效果。由于处理方法有限，许多血管分割算法都采用血管增强滤波作为步进图像预处理[18]，[19]，[20]，[21]。

基于可变形模型的方法的一般原理是初始化一个封闭的曲线或种子点，通过连续的变形或种子点生长进行迭代，改变分割边界，实现血管分割[22]，[23]，[24]。

基于跟踪的方法首先通过人工定义或基于上述血管增强滤波的方法建立种子点。从种子点开始，迭代过程以血管分割结果或血管中心线树结束，这取决于所应用的约束。根据约束条件的不同，这些算法可分为基于模型的跟踪算法和基于最小代价路径的跟踪算法[25]，[26]，[27]。

对于基于深度学习的方法，首先要建立血管分割的神经网络模型。然后利用大量的血管图像数据集对模型进行训练。同时，在训练过程中不断更新和优化模型参数，以达到一定的分割精度。根据对标注数据的不同要求，血管分割任务可以分为以下四类:监督学习、半监督学习、弱监督学习和无监督学习。以本文要解决的问题为例，监督方法是指给定的所有训练数据都具有相应的像素级的ground truth，从而使训练过程直接而准确。半监督是指在训练过程中已知数据与部分数据一一对应，部分数据的标签是未知的。弱监督标签指的是训练数据的标签是粗粒度的，甚至不总是正确的。与监督式学习相比，标签的信息量更少，但标注的难度更小。随着深度学习成为人们关注的焦点，基于深度学习的血管和其他医学图像自动分割方法急剧增加[28]，[29]，[30]。近年来，随着U-Net的引入，医学图像分割越来越受到人们的关注[31]。医学图像分割的最新方法可以概括为基于跳跃连接、残差卷积块[32]、密集卷积块[33]和注意机制[34]的方法。这些方法的共同点是通过改进模块和网络设计来提高分割精度。随着当前计算能力的不断提高，图像的分割精度被推向了一个新的高度。此外，基于transformer的ViT模型[35]在各种与视觉相关的任务中也取得了显著的效果。一些计算机应用程序，如TransUnet[36]、Swin-Transformer[37]、Transformer-Unet[38]等，在计算机任务方面取得了重大进展，包括图像分割。此外，对比学习在无监督学习领域的发展使模型能够学习具有更多类别信息的特征，包括[38]、[39]和[40]中的一些作品。

3.3 LSCI图像处理分析

作为一种能够实时成像的血管成像方式，LSCI图像比计算机断层扫描(CT)、磁共振成像(MRI)和光学相干断层扫描(OCT)等高信噪比图像噪声更大，这使得LSCI图像的分析更具挑战性。目前关于LSCI图像的大部分工作集中在信号增强、降噪和图像中的血管分析上。

1）图像的信号增强与降噪

图像信号的增强和降噪分为两大类方法。一种增强或降噪方法是设计特殊的滤波或定位算子，利用研究者的先验知识计算像素与其周围环境之间的像素间关系。上面提到的这类方法速度很快，可以简单地部署来处理大量图像。然而，当应用于不同的图像数据集或成像模式时，性能会下降，泛化效果会随着数据特征而波动[42]，[43]。另一类方法不依赖于人类的先验知识。Perez-Corona等人提出了一种空间定向方法，通过在自适应定向过程中计算对比度来保持高分辨率[44]。MoralesVargas等人提出了一种方法，通过改变更具代表性的像素点与区域的对比度，在保持高分辨率的同时实现降噪[47]。此外，深度神经网络通过构建高质量和低质量的数据集进行训练来增强和降低图像中的噪声，而不需要人类的先验知识。上面提到的所有方法都需要对大量数据进行训练，并且在速度上没有优势。

2）LSCI血管分析

LSCI图像在视场内反映了丰富的血流信息，包括血管结构和血流速率。然而，由于缺乏高质量的数据集，LSCI血管分析通常更倾向于选择传统的机器学习方法和不需要匹配数据集的无监督学习方法。对于机器学习方法，使用基于区域生长的血管直径方向估计来构建表示所定位血管大小的地图[50]。此外，为了提取和识别图像中的血管特征，已经应用了几种机器学习方法来实现血管增强任务的快速高效处理[48]。在无监督方法中，从生成LSCI图像的合成网络和公开可用的标记数字视网膜图像数据集中获得合成LSCI图像数据集，并进一步使用该数据集训练分割网络。训练后的模型用于无ground truth的LSCI实时脑区分割[49]。

4. 理论与方法

整个图像处理过程如图2所示。首先将LSCI图像从RGB格式转换为HSV格式，以便于后续设置多个阈值。然后使用经验设计的多个HSV阈值对这些图像进行分割，得到血管区域的粗分割二值图像集A。接下来，对集合A中的图像进行MRF降噪处理，对图像进行详细调整，得到优化后的血管区域集合B。将两段图像集A和B进行混合，得到二值图像集∑ = A∪B，选择集合∑中效果最好的图像作为原始输入图像血管分割的虚拟地真值。最后，将集合∑与集合Ω中的图像一一匹配，形成基于弱监督注释的血管分割数据集。

图2所示。LSCI血管图像的整体处理流程。实验采集得到的LSCI图像集称为Ω，对Ω中的图像进行色彩空间变换，采用多阈值组合处理得到粗分割图像集A，对A中的图像进行MRF处理得到优化后的血管区域图像集B，将A和B中的图像进行组合得到Ω中图像的ground truth的替代集Σ = A∪B;由专家对∑组图像进行综合和评估，从中选择最佳图像进入集合Φ。集合Φ可以解释为图像集合Ω的模拟血管分割的ground truth;将集合Ω与集合Φ中的图像进行匹配，形成一个可用于监督学习的数据集。

4.1 色彩空间变换阈值分割模块

由于散射装置成像参数的限制，LSCI血管图像中的红点越深，血流速度越快。忽略成像带来的噪声，可以假设血管组织内的血流速度大于周围区域。在某种程度上，红色区域可以被认为是血管区。基于这些先验知识，我们引入颜色提取作为血管分割的粗提取阶段。在肿瘤发展的不同阶段，血管的形态和密度不同，不同的LSCI图像往往需要不同的阈值进行分割。

设备根据亮度图添加伪颜色后，LSCI图像为RGB格式。而直接从RGB格式提取颜色需要设计复杂的阈值。因此，LSCI图像需要从RGB格式转换为HSV格式。彩色空间转换图像格式更适合阈值分割和红色区域提取。并经验性设计了21种适合血管图像的HSV阈值组合。对于任意图像X，经过色彩空间转换和阈值分割，得到21张二值图像Xτ (τ∈0,1,2，…，20)。由图3(III, IV, V)可以看出，不同参数处理的效果体现在对红色区域的控制程度上。

图3所示。激光散斑对比图像经过彩色空间转换和经过马尔科夫随机场降噪后的转换图像。图1为获取的LSCI图像;图II显示了最终选择的虚拟地真值;图III、图IV、图V为不同阈值参数处理后的粗分割图像;图六、图七、图八分别为图三、图四、图五图像的磁共振处理结果。可以看出，不同阈值参数的粗分割结果在对红色的控制程度上是直观的，并且阈值的调整作为先验知识的转移应用到图像血管区域的提取中。通过阈值分割粗提取，再进行MRF处理，将血管与周围组织的相对颜色关系通过阈值分割转化为血管周围的密度关系，再通过MRF对血管细节进行优化。

4.2 马尔可夫随机场去噪与分割图像筛选模块

用不同阈值参数对给定图像进行处理后，得到图像Xτ (τ∈0,1,2，…，n-1)，用马尔可夫随机场(MRF)去噪。每个像素的分类是通过计算每个像素周围8个像素的分类得到的。期望最大化(EM)算法不断迭代直到收敛，得到图像Xτ′(τ∈n, n 1, n 2，…，2n-1)。本文将n设为21，表示经验设置的参数组合个数。EM算法对初始值敏感，不同初始值的迭代结果波动较大。与原始图像相比，经过粗分割后的图像直接进行马尔可夫随机场降噪可以得到更好的效果。

不同参数阈值的MRF处理效果如图3 (VI, VII, VIII)所示。可以看出，在不同风格的原始LSCI图像的2n幅图像中，每幅图像在任何时候都有其优缺点。因此，我们将阈值处理的图像和马尔科夫随机场处理的图像放入一个图像选择集。目前血管LSCI图像的注释方法繁琐、复杂、昂贵，需要一定的专业知识水平。我们的方法通过在图像选择集中选择图像，选择最佳分割阈值和是否执行马尔可夫随机场来取代繁琐的标注过程。这样就实现了LSCI血管图像的标注。对于这些图片，将邀请10名教授对2n张图片进行评价和排名。

评估包括图像分割粗血管的效果，图像分割细血管的效果，以及图像控制噪声的效果。选出最好的五张图片并进行排名，并给出9、7、5、3和1分。随后，对10名教授的排名和分数进行加权，计算出分数。对于每张原始图像，它与获得最高评分的图像形成一个样本对。最后，数据集由这些样本对组成。

4.3 模型架构

该数据集用于模型的训练，学习过程可以理解为人工选择的先验知识以及之前步骤中的信息被纳入模型。对于每个输入的LSCI船舶图像，FURNet结合UNet[51]和ResNeXt[52]对每个图像像素进行分类预测。具体骨干网结构如图4 (A)所示。

图4所示。FURNet的整体网络结构，它结合了UNet和ResNeXt。图A显示了UNet的网络架构。整个网络通过大量的跳跃连接，通过多次上采样和下采样来充分提取图像中各个层次的特征。图B显示了图a中卷积模块Xi, j的具体卷积结构。图C显示了图B中Block模块的复用卷积。

UNet++基于U-Net重新设计了跳转连接，其中编码器的特征映射直接与相同大小的解码器相结合。然而，在UNet中，编码器的特征映射通过一个密集的卷积块到达解码器。例如，节点x0,0和节点X1,3之间的路径由一个有三个卷积层的密集卷积块组成，每个卷积层之前都有一个连接层。该连接层将同一卷积块的前一个卷积层的输出与下一个卷积块的相应上采样输出融合在一起。密集卷积块使编码器特征映射的语义层更接近于在解码器中等待的特征映射的语义层。

将跳跃连接形式表示为:设Xi, j表示节点Xi, j的输出，其中i表示向下样本Xi, j经过的个数，j表示通过密集卷积块的次数。由xi, j表示的特征映射堆栈计算为：

其中函数H(·)是一个卷积运算，后面跟着一个激活函数，U(·)表示上采样层，[·]表示级联层。级别j = 0的节点只从编码器的前一层接收一个输入。级别j = 1的节点接收两个输入，都来自编码器子网络，但在两个连续的级别。级别j > 1的节点接收j个输入，其中j个输入是同一跳过路径中前j个节点的输出，最后一个输入是来自较低跳过路径的上采样输出。之前所有的特征映射累积并到达当前节点的原因是我们在每个跳过路径上使用了一个密集的卷积块。

FURNet网络中使用的卷积模块是ResNeXt，其中cardinality的值为32，即每个卷积块在特征集成之前使用32个通道的分组卷积。ResNeXt是对ResNet的改进，ResNeXt引入了分组卷积模块，而不是原来的多通道单组卷积，在保持模型总参数大小的同时获得多样化的特征。我们利用ResNeXt对LSCI血管图像利用多通道特征提取的特点来提高分类精度，具体模型结构如图4 (B, C)所示。

5. 实验

5.1 数据集

整个数据集的图像可以分为三个部分:(1)健康兔耳LSCI图像，(2)接种肿瘤后兔耳LSCI图像，(3)栓塞治疗后的LSCI图像。动物实验及图像采集流程如图5所示。不同时期的意象呈现出强烈的不同风格特征。阶段(1)显示健康组织的血管边缘清晰，血管边缘与周围组织的差异明显，便于语义分割。(2)期肿瘤生长后血管及周围组织结构发生明显改变。随着血管形态的模糊化，肿瘤组织的恶性生长使得人工标注和自动血管分割成倍增加。(3)期为栓塞治疗后血管及周围组织的新变化，影像风格介于(1)和(3)期之间，血管形态模糊。

图5所示。动物实验部分及图像采集过程。这些图像分三个阶段拍摄。第一阶段是健康兔耳阶段;第二阶段是植入后肿瘤生长到一定大小的阶段，第三阶段是植入后肿瘤生长到规定大小，用0.5 ml碘油点缀24h的阶段。

整个数据集中有150张图像，43张是正常组织血管，61张是肿瘤期血管，46张是栓塞治疗后的血管。为了在三种不同的图像风格之间有一个很好的权衡，我们对不同风格的图像尝试了各种采样比。最后确定不同图像样式的比值为Wc: Wt: We = 3:4:3，分别对应正常血管、肿瘤后的复杂血管和栓塞治疗后的血管图像。训练集中有100张图像，剩下的50张图像平分用于验证和测试。在医学图像分析中，通常在灰度图像中加入相应的伪色[62]。这样，图像的强度和方面可以得到改善。它可以帮助医生或研究人员更好地识别图像中的信息。在LSCI图像分析中[1]，[42]，[46]，Jet[63]是最常用的伪色，它能较好地反映相对血流关系。为了更好地观察血管区域与相关血流之间的关系，我们在成像时还选择了Jet作为添加的伪颜色，并在此基础上设计了进一步的算法。

动物实验经厦门大学动物保护与利用委员会(CC/ACUCC)批准。新西兰大白兔(2.5-3.0kg)来自上海SLAC实验动物。兔后肢植入VX2肿瘤块(上海拉兰生物)。15天后，取退退的肿瘤组织，切成约3mm大小的肿瘤块。新西兰大白兔耳朵切除后，用LSCI观察中耳动脉周围血管。然后用黑色记号笔标出肿瘤最佳植入区域。耳部消毒后，用18G穿刺针经皮穿刺将约3mm的肿瘤块植入标记区。植入后7天用卡尺测量肿瘤大小，同时用LSCI监测肿瘤血管生成。当肿瘤大小达到0.8 cm时，经中耳动脉局部注射碘油0.5 ml, LSCI栓塞肿瘤血管后观察血流量24小时。

由于采集图像的分辨率高，整体图像的相关性强，通过裁剪和缩小操作很难保证图像整体信息的完整性。因此，没有进行裁剪。结果经过色彩空间变换和进一步的MRF降噪后，通过多重阈值分割得到虚拟地真值。

5.2 实现细节

我们使用了Pytorch框架，这是一个开源的编程深度学习框架。整个训练过程由500个epoch组成。在前450个epoch，我们在数据集中加入了马赛克，并应用了其他数据增强方法。这些数据增强方法可以使训练变得困难，并在一定程度上避免过拟合。在最后50次训练中去除数据增强，使模型在最后快速收敛。这种训练技术来源于目标跟踪算法ByteTrack[55]。在具体的训练过程中，需要考虑几个重要的超参数。首先，由于我们的方法是使用开源预编译的权重进行微调的，因此学习率被设置为常用的0.0001。在观察到损失稳定在150次左右后，将学习率调整为原始学习率的十分之一。300个epoch之后，它会减少一半，直到最后。我们选择在最近50次训练中损失最小的重量来保存。在修改学习率方面，一个数量级的变化对收敛速度的影响很小。其次，对于激活函数，经过测试，只有sigmoid函数才能帮助模型很好地收敛。而其他激活函数包括ReLU、leakyReLU、Tanh等，都容易造成训练崩溃。最后，在优化策略中选择了常用的Adam优化策略，实验结果表明该策略是可行的。程序在GTX3090Ti GPU和Intel® Core ™ i9-10900K CPU @3.70GHz的Windows 10 PC上运行，以Acc、precision、Recall、Dice和MCC作为参考函数进行效果评估。

5.3 损失函数

对于损失函数，我们选择DiceLoss和BCEWithLogitsLoss的加权组合作为最终的损失函数。DiceLoss作为一种集合相似度度量函数，通常用于计算两个样本点的相似度。Dice系数越大，集合越相似，损失越小;反之亦然。

由于血管分割任务是一个二值图像分割任务，因此BCEWithLogitsLoss是一个将Sigmoid函数与BCE loss函数一步结合的损失函数，通过对预测输出的二值分类实现特征映射的归一化:

其中ω为调节DiceLoss与BCEWithLogitsLoss之比的权值超参数，本文将其设为1.0。

5.4 结果

监督学习方法在LSCI图像血管分割中的有效性受到标注成本高的限制。此外，人工标注的二值基真值不能准确表示组织间的流量差异。我们将该方法的结果与一些传统的无监督方法进行了比较，这些方法用于处理LSCI血管数据集图像，包括全局阈值分割(GTS)、动态阈值分割(DTS)、K-means聚类和CycleGAN[53]。

结果如图6所示。在提供先验知识的条件下，HSV转换后的GTS可以正确区分LSCI血管图像的前景和背景，这是我们提出方法的基础步骤。然而，当应用于不同风格的图像时，单一阈值分割的鲁棒性较差，并且表现出明显的性能下降。在将RGB图像转换为灰度图像后，GTS方法产生了令人不满意的结果。由于得到的LSCI图像是伪彩色的，当伪彩色与灰度信息的一一对应关系不清晰时，会造成大量的数据丢失。在这种情况下，对图像进行灰度转换会使图像难以按预期分割。DTS得到的结果信噪比低于DTS得到的结果，但在一定程度上提高了前景-背景分割的正确性。k-均值法比阈值法能反映更多的信息。但是，前景-背景处理与地面真值仍然存在显著差异，对噪声的抑制也受到限制。无监督CycleGAN方法可以达到更好的视觉分割效果。但在一些肿瘤严重的图像中，该方法不能正确区分前景背景，影响了CycleGAN方法的整体评价。使用CycleGAN进行分割是非常有限的。简单地用二值船舶图像训练LSCI图像很难收敛。我们将训练集平均分为A和B，将A中的LSCI图像和B中的伪标签放入CycleGAN中进行训练，保证了两个域之间不存在匹配关系。此外，为了加强CycleGAN的生成效果，在CycleGAN中使用U-Net作为发生器。学习率为0.0002，批大小为1,epoch为500。CycleGAN中的生成器负责将LSCI转换为二值图，作为预测网络。

图6所示。给出了用不同方法处理不同阶段LSCI图像的结果。A和B是来自同一舞台的不同形象。

我们提出的方法在所有三种类型的血管图像中都显示出良好的分割效果，特别是在复杂血管区域的噪声抑制方面。具体而言，如图6所示，由于不同阶段LSCI血管图像风格差异明显，我们的模型在Control阶段能够更加关注细血管，并有效抑制噪声。在肿瘤阶段，我们的模型更侧重于噪声抑制。最后，在栓塞阶段，我们的模型实现了粗血管和细血管之间的平衡，同时有效地抑制了噪声。

通过不同方法获得的结果与数据集中的虚拟地面真相进行比较，量化Acc, Recall, Precision, Dice, MCC和其他指标。准确地说，本工作是在监督学习无法获得良好结果的情况下建立起来的，缺乏优秀的ground truth是我们研究的客观条件。各阶段的量化结果及总阶段的统计曲线图见表1。

由于LSCI数据集的地面真值是手工选择的虚拟地面真值，因此构建了两个新的数据集来验证训练模型在陌生数据集上的鲁棒性。

第一个数据集使用CycleGAN对DRIVE数据集眼底视网膜血管的ground truth进行样式转移，构建一批具有ground truth的LSCI血管数据集。CycleGAN的结构如图7所示。为了增加生成细节的处理，在CycleGAN中使用U-Net网络作为生成器。由于源域和目标域的图像通道存在差异，在生成器之前加入卷积层进行通道转换。对生成的LSCI图像数据集进行预测处理，如图8所示，缺少一些精细的血管信息。最重要的原因是生成的LSCI数据集改变了原有的船舶信息，模糊了原有的清晰结构。尽管如此，该数据集的正确率为94.88%，提供了良好的可视化和分析能力。

图7所示。CycleGAN的结构图。其中，A为DRIVE域的二进制地真映射，B为LSCI图像域，使用两个鉴别器和两个生成器分别实现域A到域B和域B到域A的转换，分别取出域A到域B的生成器生成具有地真值的LSCI船舶数据集。

图8所示。训练模型在不同数据集上的预测结果。数据集I是使用CycleGAN中的生成器从DRIVE数据集中的二进制地真值生成的LSCI图像的数据集。二值映射可以被认为是生成LSCI图像的基本真理。数据集II是用于验证模型稳健性的分数脑血管图像的集合。A, B, C, D是显示器的不同图像。

另一个数据集是大脑LSCI血管图像数据集，来自我们用来成像小鼠大脑血管的相同LSCI设备。该数据集与训练构建的数据集在血管来源和动物类型方面存在较大的差异，存在较大的域差距。将该模型应用于该数据集也取得了良好的效果，提取了足够的脑血管信息，为研究人员提供了良好的血管信息，并证明了训练后的模型具有良好的泛化性能。我们将分割结果与CycleGAN进行了比较。CycleGAN在部分图像上可以获得更好的精度和效果，但在处理其他图像时，在前景-背景区分方面仍然存在误差，同时在颜色对比度不明显的区域分割方面，CycleGAN的分割效果略低于我们的方法。

5.5 讨论

我们的方法通过在图像选择集中选择最佳图像，选择最佳分割阈值以及是否执行马尔可夫随机场来取代繁琐的标注过程。阈值和处理流的不同组合可以被认为是“弱标签”，原因有二。一方面，传统监督学习依赖的像素级标注往往是通过在图像上标注多边形来获得，直接准确;然而，我们方法中伪标签的生成依赖于不同参数阈值组合与处理过程之间的“奇妙化学反应”，具有间接性和模糊性。另一方面，这种“弱标签”实际上代表了阈值参数和处理流程的结合，即使在像素级有噪声，得到的伪标签也不是完全准确的。基于上述“弱标签”，我们的工作通过设计处理流程来获得像素级伪标签，从而进行监督学习。该方法可以将“弱标签”所代表的阈值信息和处理信息可视化，更好地挖掘其所代表的高维特征。因此，该算法使用了不完全和模糊的信息，算法的本质是弱监督学习，而不是监督学习。

在两个数据集上验证了模型的鲁棒性，取得了较好的效果。经过验证，当训练数据集较小时，我们的算法能够获得很好的泛化，因此我们假设可能存在几个因素。首先，模型的泛化与数据质量和多样性的关系比与数据集数量的关系更大。我们的实验数据来源于大量收集的LSCI图像。经过数据清洗，最终得到质量高、差异大、丰富多样的实验数据。此外，这些数据包含三个不同的肿瘤分期，其包含类型涵盖了大多数LSCI血管应用场景。此外，我们的实验数据的大小为1472 * 1108，包含了更丰富的细节，可以在一定程度上弥补数量不足的缺陷。最后，我们的训练过程也对模型的泛化做出了贡献。我们在训练过程中进行了数据增强和上述训练技术，这也在一定程度上提高了模型的泛化能力。

我们的模型具有良好的分割性能，可以嵌套在主流平台软件中，帮助医生获得更多样化的血管信息，如单位面积血管占比、血管网络结构主干提取、血管畸变程度等。医生可以对感兴趣的区域进行定性或定量分析，大大提高了临床诊断的效率、准确性和可靠性。在医学教学、手术模拟等医学研究中也能起到重要的辅助作用。

然而，我们的工作也有一些局限性。最初，仍有一些应用场景未纳入，进一步提高模型的泛化能力是LSCI血管分割任务的持续方向。之后，虽然我们的方法可以实现准确的分割，但由于模型的参数大小过大，导致推理时间较长。将模型部署在仪器上实现实时分割，进一步简化模型，提高推理速度是势在必行的研究方向。最后，开发新的无监督学习分割方法是值得探索的，因为无监督方法能够从根本上解决缺乏高质量数据集的问题。

除了血管分割之外，深度学习算法还可以在其他LSCI相关任务中发挥重要作用。目前，许多算法分析LSCI图像，但这些方法没有利用LSCI可以显示的视频流信息。利用深度学习的强大能力处理大量LSCI图像流[60]，[61]，研究血流振荡[56]和血流强度[58]的变换规律是一个有意义的研究方向。此外，LSCI能够提供血管的实时成像并反映相对流速信息。虽然机器学习和深度学习已经被用于关联血流速度[57]，[59]，但如何进一步扩展模型并挖掘网络的学习能力仍然是一个努力的方向。

6. 结论

在这项工作中，我们设计并构建了一个包含不同阶段兔耳血管图像的数据集。我们是在这个基础上进行研究的。LSCI图像具有独特的风格和特点，我们针对LSCI图像提出了一系列血管分割方法。我们的方法通过选择图像处理流程而不是人工标注，使用多重阈值和MRF对图像进行处理，获得虚拟地真值，避免了对图像进行大规模、长时间的人工标注。随后，我们构建了一个深度神经网络FURNet对数据集进行训练，并在不同阶段对复杂血管区域进行了良好的分割。为了验证模型的鲁棒性，我们获取了另一批不同物种类别和器官类别的血管图像，并从DRIVE数据集中生成了另一批具有ground truth的LSCI眼底血管数据集。该模型在两个数据集上均取得了良好的分割效果，具有良好的泛化能力。我们的方法可以为LSCI应用提供稳定、准确的血液分割，用于活体血管成像分析，实现人工血液注释，减少人工介入，显著降低注释成本。本工作为LSCI图像的血管分割提供了一种新的方法，在人工智能辅助医学领域取得了新的应用层面的进展。

7. 引用

[1] W. Heeman et al., “Clinical applications of laser speckle contrast imaging: A review,” J. Biomed. Opt., vol. 24, no. 8, 2019 Art. no. 080901.
[2] D. A. Boas and A. K. Dunn, “Laser speckle contrast imaging in biomedical optics,” J. Biomed. Opt., vol. 15, p. 011109, Jan./Feb. 2010.
[3] G. A. Armitage, K. G. Todd, A. Shuaib, and I. R. Winship,“Laser speckle contrast imaging of collateral blood flow during acute ischemic stroke,” J. Cerebral Blood Flow Metabolism, vol. 30, no. 8,pp. 1432–1436, Aug. 2010.
[4] A. Ponticorvo, D. Cardenas, A. K. Dunn, D. Ts’o, and T. Q. Duong,“Laser speckle contrast imaging of blood flow in rat retinas using an endoscope,” J. Biomed. Opt., vol. 18, no. 9, Sep. 2013, Art. no. 090501.
[5] G. Mahé, A. Humeau-Heurtier, S. Durand, G. Leftheriotis, and P. Abraham, “Assessment of skin microvascular function and dysfunction with laser speckle contrast imaging,” Circulation, Cardiovascular Imag.,vol. 5, no. 1, pp. 155–163, Jan. 2012.
[6] S. S. Segal, “Regulation of blood flow in the microcirculation,” Microcirculation, vol. 12, no. 1, pp. 33–45, Jan. 2005.
[7] A. Rege et al., “Imaging microvascular flow characteristics using laser speckle contrast imaging,” in Proc. Annu. Int. Conf. IEEE Eng. Med. Biol., 2010, pp. 1978–1981.
[8] E. V. Potapova et al., “Laser speckle contrast imaging of blood microcirculation in pancreatic tissues during laparoscopic interventions,”Quantum Electron., vol. 50, no. 1, pp. 33–40, Jan. 2020.
[9] S. Moccia, E. De Momi, S. El Hadji, and L. S. Mattos, “Blood vessel segmentation algorithms—Review of methods, datasets and evaluation metrics,” Comput. Methods Programs Biomed., vol. 158, pp. 71–91, May 2018.
[10] A. Imran, J. Li, Y. Pei, J. Yang, and Q. Wang, “Comparative analysis of vessel segmentation techniques in retinal images,” IEEE Access, vol. 7,pp. 114862–114887, 2019.
[11] S. Albawi, T. A. Mohammed, and S. Al-Zawi, “Understanding of a convolutional neural network,” in Proc. ICET, 2017, pp. 1–6.
[12] S. Asgari Taghanaki, K. Abhishek, J. P. Cohen, J. Cohen-Adad, and G. Hamarneh, “Deep semantic segmentation of natural and medical images: A review,” Artif. Intell. Rev., vol. 54, no. 1, pp. 137–178,Jan. 2021.
[13] C. Sturesson, D. M. J. Milstein, I. C. J. H. Post, A. M. Maas, and T. M. van Gulik, “Laser speckle contrast imaging for assessment of liver microcirculation,” Microvascular Res., vol. 87, pp. 34–40, May 2013.
[14] J. D. Briers and S. Webster, “Laser speckle contrast analysis (LASCA):A nonscanning, full-field technique for monitoring capillary blood flow,”J. Biomed. Opt., vol. 1, no. 2, pp. 174–179, 1996.
[15] K. R. Forrester, J. Tulip, C. Leonard, C. Stewart, and R. C. Bray,“A laser speckle imaging technique for measuring tissue perfusion,” IEEE Trans. Biomed. Eng., vol. 51, no. 11, pp. 2074–2084,Nov. 2004.
[16] B. Choi, N. M. Kang, and J. S. Nelson, “Laser speckle imaging for monitoring blood flow dynamics in the in vivo rodent dorsal skin fold model,” Microvascular Res., vol. 68, no. 2, pp. 143–146,Sep. 2004.
[17] P. Hu et al., “Analysis and visualization methods for detecting functional activation using laser speckle contrast imaging,” Microcirculation,vol. 29, nos. 6–7, Oct. 2022, Art. no. e12783.
[18] T. Jerman, F. Pernuš, B. Likar, and Ž. Špiclin, “Enhancement of vascular structures in 3D and 2D angiographic images,” IEEE Trans. Med. Imag.,vol. 35, no. 9, pp. 2107–2118, Sep. 2016.
[19] J. Yang et al., “Improved Hessian multiscale enhancement filter,” BioMed. Mater. Eng., vol. 24, no. 6, pp. 3267–3275, 2014.
[20] C. Zhou et al., “Automatic multiscale enhancement and segmentation of pulmonary vessels in CT pulmonary angiography images for CAD applications,” Med. Phys., vol. 34, no. 12, pp. 4567–4577, Nov. 2007.
[21] A. F. Frangi et al., “Multiscale vessel enhancement filtering,” in Proc.Int. Conf. Med. Image Comput. Comput.-Assisted Intervent., 1998,pp. 130–137.
[22] Y. Cheng, X. Hu, J. Wang, Y. Wang, and S. Tamura, “Accurate vessel segmentation with constrained B-snake,” IEEE Trans. Image Process.,vol. 24, no. 8, pp. 2440–2455, Aug. 2015.
[23] T. Lv et al., “Vessel segmentation using centerline constrained level set method,” Multimedia Tools Appl., vol. 78, no. 12, pp. 17051–17075,Jun. 2019.
[24] A. Kerkeni, A. Benabdallah, A. Manzanera, and M. H. Bedoui, “A coronary artery segmentation method based on multiscale analysis and region growing,” Computerized Med. Imag. Graph., vol. 48, pp. 49–61,Mar. 2016.
[25] O. Friman, M. Hindennach, C. Kühnel, and H.-O. Peitgen, “Multiple hypothesis template tracking of small 3D vessel structures,” Med. Image Anal., vol. 14, no. 2, pp. 160–171, Apr. 2010.
[26] C. Bauer, T. Pock, E. Sorantin, H. Bischof, and R. Beichel, “Segmentation of interwoven 3D tubular tree structures utilizing shape priors and graph cuts,” Med. Image Anal., vol. 14, no. 2, pp. 172–184, Apr. 2010.
[27] H. Tang et al., “Semiautomatic carotid lumen segmentation for quantification of lumen geometry in multispectral MRI,” Med. Image Anal.,vol. 16, no. 6, pp. 1202–1215, Aug. 2012.
[28] P. Liskowski and K. Krawiec, “Segmenting retinal blood vessels with deep neural networks,” IEEE Trans. Med. Imag., vol. 35, no. 11,pp. 2369–2380, Nov. 2016.
[29] Y. Jiang, H. Zhang, N. Tan, and L. Chen, “Automatic retinal blood vessel segmentation based on fully convolutional neural networks,” Symmetry,vol. 11, no. 9, p. 1112, Sep. 2019.
[30] R. GeethaRamani and L. Balasubramanian, “Retinal blood vessel segmentation employing image processing and data mining techniques for computerized retinal image analysis,” Biocybernetics Biomed. Eng.,vol. 36, no. 1, pp. 102–118, 2016.
[31] O. Ronneberger, P. Fischer, and T. Brox, “U-Net: Convolutional networks for biomedical image segmentation,” in Proc. Int. Conf. Med.Image Comput. Comput.-Assist. Intervent., 2015, pp. 234–241.
[32] K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit.(CVPR), Jun. 2016, pp. 770–778.
[33] G. Huang, Z. Liu, L. Van Der Maaten, and K. Q. Weinberger, “Densely connected convolutional networks,” in Proc. IEEE Conf. Comput. Vis.Pattern Recognit. (CVPR), Jul. 2017, pp. 2261–2269.
[34] A. Vaswani et al., “Attention is all you need,” in Proc. Adv. Neural Inf.Process. Syst., vol. 30, 2017, pp. 1–14.
[35] A. Dosovitskiy et al., “An image is worth 16×16 words: Transformers for image recognition at scale,” 2020, arXiv:2010.11929.
36] J. Chen et al., “TransUNet: Transformers make strong encoders for medical image segmentation,” 2021, arXiv:2102.04306.
[37] Z. Liu et al., “Swin transformer: Hierarchical vision transformer using shifted windows,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV),Oct. 2021, pp. 9992–10002.
[38] Y. Sha, Y. Zhang, X. Ji, and L. Hu, “Transformer-UNet: Raw image processing with UNet,” 2021, arXiv:2109.08417.
[39] Y. Zhou et al., “Learning to address intra-segment misclassification in retinal imaging,” in Proc. Int. Conf. Med. Image Comput. Comput.Assist. Intervent., 2021, pp. 482–492.
[40] X. Zhao et al., “Contrastive learning for label efficient semantic segmentation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021,pp. 10603–10613.
[41] W. Wang, T. Zhou, F. Yu, J. Dai, E. Konukoglu, and L. V. Gool, “Exploring cross-image pixel contrast for semantic segmentation,” in Proc.IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 7283–7293.
[42] W. Cheng, X. Zhu, X. Chen, M. Li, J. Lu, and P. Li, “Manhattan distance-based adaptive 3D transform-domain collaborative filtering for laser speckle imaging of blood flow,” IEEE Trans. Med. Imag., vol. 38,no. 7, pp. 1726–1735, Jul. 2019.
[43] Y. Zhang, Y. Zhao, W. Li, Z. Qian, and L. Xing, “Enhancement of microvessel in laser speckle image using Gaussian kernel template,” J.Innov. Opt. Health Sci., vol. 12, no. 2, Mar. 2019, Art. no. 1950006.
[44] C. E. Perez-Corona et al., “Space-directional laser speckle contrast imaging to improve blood vessels visualization,” in Proc. IEEE Int.Instrum. Meas. Technol. Conf. (I2MTC), May 2018, pp. 1–15.
[45] E. Morales-Vargas, H. Peregrina-Barreto, and J. C. Ramirez-San-Juan,“Adaptive processing for noise attenuation in laser speckle contrast imaging,” Comput. Methods Programs Biomed., vol. 212, Nov. 2021,Art. no. 106486.
[46] W. Cheng et al., “Dilated residual learning with skip connections for real-time denoising of laser speckle imaging of blood flow in a log-transformed domain,” IEEE Trans. Med. Imag., vol. 39, no. 5,pp. 1582–1593, May 2020.
[47] N. Namulun, H. Zhao, T. Yang, and X. Zhou, “Laser speckle denoising with deep convolutional network,” Proc. SPIE, vol. 11519, Jun. 2020,Art. no. 115191E.
[48] A. Benmergui et al., “Machine learning assisted blood vessel segmentation in laser speckle imaging (conference presentation),” Proc. SPIE,Opt. Biopsy XVII, Toward Real-Time Spectroscopic Imag. Diagnosis,vol. 10873, Mar. 2019, Art. no. 108730S, doi: 10.1117/12.2510378.
[49] H. Chen et al., “Real-time cerebral vessel segmentation in laser speckle
contrast image based on unsupervised domain adaptation,” Frontiers Neurosci., vol. 15, Nov. 2021, Art. no. 755198.
[50] E. Morales-Vargas, H. Peregrina-Barreto, J. Rangel-Magdaleno, and J. Ramirez-San-Juan, “Estimation of blood vessels diameter by region growing in laser speckle contrast imaging,” in Proc. IEEE Int. Instrum.Meas. Technol. Conf. (IMTC), May 2019, pp. 1–5.
[51] Z. Zhou et al., “UNet++: A nested U-Net architecture for medical image segmentation,” in Proc. Int. Workshop Deep Learn. Med. Image Anal.,2048, pp. 3–11.
[52] S. Xie, R. Girshick, P. Dollár, Z. Tu, and K. He, “Aggregated residual transformations for deep neural networks,” in Proc. IEEE Conf. Comput.Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 5987–5995.
[53] J. Zhu, T. Park, P. Isola, and A. A. Efros, “Unpaired image-to-image translation using cycle-consistent adversarial networks,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Oct. 2017,pp. 2242–2251.
[54] A. Asundi, “Sampled-speckle photography for measurement of deformation,” Opt. lett., vol. 25, no. 4, pp. 218–220, 2000.
[55] Y. Zhang et al., “Bytetrack: Multi-object tracking by associating every detection box,” in Proc. Comput. Vis. (ECCV), 2022,pp. 1–21.
[56] I. Mizeva, E. Potapova, V. Dremin, I. Kozlov, and A. Dunaev, “Spatial heterogeneity of cutaneous blood flow respiratory-related oscillations quantified via laser speckle contrast imaging,” PLoS ONE, vol. 16, no. 5,May 2021, Art. no. e0252296.
[57] E. P. Kornaeva, I. N. Stebakov, A. V. Kornaev, V. V. Dremin, S. G. Popov,and A. Y. Vinokurov, “A method to measure non-newtonian fluids viscosity using inertial viscometer with a computer vision system,” Int.J. Mech. Sci., vol. 242, Mar. 2023, Art. no. 107967.
[58] M. Hultman, M. Larsson, T. Strömberg, J. Henricson, F. Iredahl, and I. Fredriksson, “Flowmotion imaging analysis of spatiotemporal variations in skin microcirculatory perfusion,” Microvascular Res., vol. 146,Mar. 2023, Art. no. 104456.
[59] X. Hao, S. Wu, L. Lin, Y. Chen, S. P. Morgan, and S. Sun,“A quantitative laser speckle-based velocity prediction approach using machine learning,” Opt. Lasers Eng., vol. 166, Jul. 2023,Art. no. 107587.
[60] C. Feichtenhofer, H. Fan, J. Malik, and K. He, “SlowFast networks for video recognition,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV),Oct. 2019, pp. 6201–6210.
[61] M. Suresha, S. Kuppa, and D. S. Raghukumar, “A study on deep learning spatiotemporal models and feature extraction techniques for video understanding,” Int. J. Multimedia Inf. Retr., vol. 9, no. 2, pp. 81–101,Jun. 2020
[62] M. Z. Konyar and S. Ertürk, “Pseudocoloring of ultrasound images,” in Proc. 25th Signal Process. Commun. Appl. Conf. (SIU), Antalya, Turkey,May 2017, pp. 1–4, doi: 10.1109/SIU.2017.7960382.
[63] Y. Zheng, “X-ray image processing and visualization for remote assistance of airport luggage screeners,” M.S. thesis, Dept. Elect. Comput.Eng., Univ. Tennessee, Knoxville, TN, USA, 2004.