动态视频——心脏

原创已于 2023-12-25 10:42:49 修改 · 1.4k 阅读

28 ·

CC 4.0 BY-SA版权

文章标签：

#音视频 #人工智能 #深度学习 #神经网络 #计算机视觉

于 2023-12-25 10:41:21 首次发布

学习笔记专栏收录该内容

10 篇文章

订阅专栏

本文概述了深度学习在心脏图像分割中的应用，包括MRI、CT和超声的成像模式，着重于心室、心房、血管和异常组织的分割。文章讨论了各种方法，如VanillaFCN、U-net、多任务学习和融合传统方法，以及在心房颤动、主动脉瓣和心肌病变检测中的重要性。

心室、心房、血管

深度学习在心脏图像分割中的应用

总结了三种主要成像模式的基于深度学习的应用：MRI、CT 和超声，以及目标结构的特定应用

这些基于深度学习的方法提供了一种高效和有效的方法，以不同的方式分割特定器官或组织（例如，左心室、冠状血管、疤痕），促进心血管结构和功能的后续定量分析。在这些工作中，这些方法中有很大一部分是为心室分割而设计的，特别是在MRI和超声领域。心室分割的目的是描绘左心室和/或左心室的心内膜和心外膜。这些分割图对于得出临床指标非常重要，例如左心室舒张末期容积（LVEDV）、左心室收缩末期容积（LVESV）、右心室舒张末期容积（RVEDV）、右心室收缩末期容积（RVESV）和 EF。此外，这些分割图对于 3D 形状分析、3D + 时间运动分析和生存预测至关重要。

心脏MRI图像分割

心脏 MRI 可以准确量化心脏解剖结构和功能（例如，电影成像）和病理组织，例如疤痕（晚期钆增强（LGE）成像）。因此，心脏MRI目前被认为是定量心脏分析的金标准。

大多数工作都集中在心腔分割上（例如，LV左室内径、RV右室内径、LA左房内径）

对比增强图像中分割异常心脏组织区域（例如心肌瘢痕和心房纤维化）的工作相对较少。这可能是由于相关的公共数据集有限以及任务的难度;很少有将深度学习技术应用于心房壁分割的工作

心室分割

基于 Vanilla FCN 的分割：在这些基于 FCN 的方法中，大多数方法使用 2D 网络而不是 3D 网络进行分割。这主要是由于大多数心脏 MRI 扫描的典型低平面分辨率和运动伪影，这限制了 3D 网络的适用性

引入空间或时间上下文:使用 2D 网络进行心脏分割的一个缺点是，这些网络逐个切片工作，因此它们不利用任何切片间依赖关系,2D 网络可能无法在具有挑战性的切片上定位和分割心脏，例如心室轮廓不明确的顶端和基底切片,为了解决这个问题，许多工作试图引入额外的上下文信息来指导 2D FCN。

应用解剖学约束：限制 2D 和 3D FCN 分割性能的问题是，它们通常仅使用像素级损失函数（例如，交叉熵或软骰损失）进行训练。这些像素损失函数可能不足以学习代表底层解剖结构的特征；有几种方法侧重于设计和应用解剖约束来训练网络，以提高其预测准确性和鲁棒性。这些约束被表示为正则化项，考虑了拓扑、轮廓和区域信息或形状信息

多任务学习

多级网络

混合分割方法：将神经网络与经典分割方法相结合，例如，水平集，可变形模型，基于图谱的方法和基于图切割的方法。神经网络应用于特征提取和模型初始化阶段，减少了对人工交互的依赖，提高了后续部署的传统分割方法的分割精度。

心房分割

心房颤动（AF）是最常见的心脏电疾病之一；心房分割在临床中至关重要，可改善术前心房颤动消融计划和术后随访评估中对心房解剖结构的评估。

例：应用 2D FCN 直接从标准 2D 长轴图像（即心尖二腔（2CH）、心尖四腔（4CH）视图）中分割 LA左房内径和 RA右房内径）

疤痕分割

瘢痕表征通常使用 LGE MR 成像（能够识别心肌瘢痕和心房纤维化，从而改善心肌梗死和心房颤动的管理）

例：基于图谱的方法来识别左心房，然后应用深度神经网络来检测该区域的纤维化组织；

分割左心房和心房瘢痕；

基于U-net的网络从肥厚型心肌病（HCM）患者获得的LGE图像中同时分割心肌和瘢痕，实现了快速分割速度；

主动脉分割

升主动脉的平均 Dice 指标为 0.96，降主动脉的平均 Dice 指标为 0.95

全心分割

还可用于分割 3D MR 图像中心脏的主要子结构；采用了 3D 密集 FCN 从 3D MRI 扫描中分割心脏中的心肌和血池。分割更具体的子结构 [包括四个腔室、主动脉、肺静脉（PV）]。

心脏CT图像分割

心脏 CT 扫描用于评估心脏解剖结构，特别是冠状动脉。有两种主要的成像方式：非增强 CT 成像和对比增强冠状动脉 CT 血管造影（CTA）

心脏子结构分割

如（心脏射血分数）EF、心肌质量、壁厚等。通常，分割的心脏亚结构包括 LV、RV、LA、RA、Myo（肌红蛋白）、主动脉（AO）和肺动脉（PA）。

两步分割:首先提取ROI，然后输入CNN进行后续分类。例如，Zreik等人提出了一个两步LV分割过程，其中首先使用de Vos等人中描述的方法检测LV的边界框，然后使用基于补丁的CNN在定义的边界框内进行体素分类。

多视图CNN：通过以 2D 方式训练多平面 CNN（轴向、矢状面和冠状面）来利用心脏的体积信息。

混合损失：将不同的损失函数（例如focal loss, Dice loss, and 加权分类交叉熵）组合在一起以解决类别不平衡问题，例如不同心室结构之间的体积大小不平衡，并提高分割性能

冠状动脉分割

与冠状动脉分割相关的方法主要可分为两类：中心线提取和管腔（即血管壁）分割。

CNN作为后处理/预处理步骤：

冠状动脉中心线摘除术是一项具有挑战性的任务，因为附近存在心脏结构和冠状静脉，以及心脏 CT 中的运动伪影。

有几种采用CNN作为传统方法的后处理或预处理步骤：

如多任务FCN中心线提取方法，该方法可以生成单像素宽的中心线，其中FCN同时预测冠状动脉和升主动脉分割面罩的中心线距离图和终点置信度图，然后将其用作后续最小路径提取器的输入，以获得最终的中心线提取结果。

如通过3D dilated CNN解决中心线提取问题，其中CNN在贴片上进行训练，以直接确定一组离散的可能方向上的后验概率分布，并估计给定点的动脉半径。

端到端CNN：

关于管腔或血管壁分割，大多数基于深度学习的方法使用端到端 CNN 分割方案来预测密集分割概率图，

冠状动脉钙化和斑块分割

冠状动脉钙化（CAC）是心血管疾病的直接危险因素。CAC的精确检测和分割对于Agatston评分的准确预测和疾病诊断非常重要。

两步分割：如第一个 CNN 粗略地识别出的体素可能是检测到的 ROI 中的CAC，第二个 CNN 进一步更准确地区分 CAC 和 CAC 样阴性（分类）

直接分割：从非增强心脏CT或胸部CT中直接分割CAC。如采用U-net和DenseNet的组合来精确定量CAC

对于冠状动脉中的非钙化斑块（NCP）和混合钙化斑块（MCP）：研究数量有限，从临床的角度来看，这是一项非常重要的任务，因为这些斑块可能会破裂并阻塞动脉，导致缺血事件和严重的心脏损伤。NCP 和 MCP 分割更具挑战性（外观和强度与邻近组织相似），通常需要生成沿血管中心线拉直的多平面重新格式化（MPR）图像；有人提出了一个以血管为中心的3D卷积网络，该网络具有注意力层，用于分割提取和重新格式化的冠状动脉MPR体积上的三种类型的斑块；有人提出了一种用于检测和表征冠状动脉斑块以及确定冠状动脉狭窄显着性的自动方法，其中使用多任务卷积RNN通过分析MPR图像中沿冠状动脉提取的特征来执行斑块和狭窄分类。