【文献阅读】The Dresden Surgical Anatomy Dataset for Abdominal Organ Segmentation in Surgical Data Science-CSDN博客

本文链接：https://blog.csdn.net/Toky_min/article/details/146885604

NCT-TSO-Public / Dresden Surgical Anatomy Dataset · GitLabGitLab.comhttps://gitlab.com/nct_tso_public/dsad

发表于2023年

(2023) 10:3 | https://doi.org/10.1038/s41597-022-01719-2

提供了代码地址、数据集

The Dresden Surgical Anatomy Dataset for abdominal organ segmentation in surgical data scienceThe Dresden Surgical Anatomy Dataset for abdominal organ segmentation in surgical data sciencehttps://springernature.figshare.com/articles/dataset/The_Dresden_Surgical_Anatomy_Dataset_for_abdominal_organ_segmentation_in_surgical_data_science/21702600?file=38494425

摘要

腹腔镜检查是一种成像技术，可在包括腹部手术、妇科和泌尿科在内的各种医学学科中实现微创手术。迄今为止，公开可用的腹腔镜图像数据集大多局限于数据的一般分类、手术器械的语义分割以及特定腹部器官的少量弱注释。德累斯顿外科解剖数据集提供了腹腔镜视野下八个腹部器官（结肠、肝脏、胰腺、小肠、脾脏、胃、输尿管、精囊腺）、腹壁以及两种血管结构（肠系膜下动脉、肠静脉）的语义分割。该数据集总共包含13195张腹腔镜图像。对于每个解剖结构，我们提供了超过一千张带有逐像素分割的图像。注释包括单个器官的语义分割以及一个多器官分割数据集，其中包含所有十一个解剖结构的分割。此外，我们为每张图像提供了器官存在的弱注释。这个数据集显著拓展了计算机视觉在腹腔镜手术中外科数据科学应用的视野，从而有助于降低风险，并加快人工智能在外科实践中的应用转化。

背景与概述

腹腔镜手术是一种常用技术，它有助于开展微创手术以及机器人辅助手术，与开放式手术相比具有多个优势：住院时间缩短、失血量减少、恢复更快、手术视野更好，尤其是对于机器人手术，还能更直观、精确地控制手术器械[1,2]。与此同时，图像中的许多信息并未得到利用，因为人类注意力无法实时处理如此大量的信息。此外，解读这些图像需要解剖学知识和医学经验。这一障碍为基于人工智能（AI）的计算机辅助功能的开发提供了一个很有前景的起点。

人工智能的应用带来了快速发展的方法和技术，更确切地说，在腹腔镜图像或视频中自动识别器械、器官和其他解剖结构，有可能使手术过程更安全、更省时[3 - 6]。开源腹腔镜图像数据集有限，现有的数据集，如Cholec80[7]、LapGyn48[8]、SurgAI[9]或海德堡结直肠数据集[10]，大多包含图像级注释，这使得用户能够区分感兴趣的结构是否在图像中显示，但无法提供其具体空间位置和外观信息。然而，在外科数据科学的背景下，各种用于图像识别的机器学习任务都需要这种逐像素注释[11]。在临床环境中，这样的算法可以促进基于上下文的识别，从而保护脆弱的解剖结构，最终目标是提高手术安全性并预防并发症。

这种基于人工智能的辅助功能在开发和临床应用中的一个主要瓶颈是带注释的腹腔镜图像数据的可用性。为了应对这一挑战，我们提供了语义分割，通过对图像的每个像素进行注释来提供特定结构的位置信息。基于32例机器人辅助直肠切除术或切除术的视频数据，这个数据集提供了总共13195张经过大量注释的腹腔镜图像，展示了不同的腹腔内器官（结肠、肝脏、胰腺、小肠、脾脏、胃、输尿管、精囊腺）和解剖结构（腹壁、肠系膜下动脉、肠静脉）。为了真实呈现常见的腹腔镜手术障碍，它包含了不同程度的器官可见性，包括小的或部分被遮挡的器官部分、运动伪影、不均匀的照明以及视野中的烟雾或血液。此外，该数据集还包含每张图像的器官可见性弱标签。

这个数据集将解剖学知识添加到腹腔镜数据中，弥合了外科数据科学领域的一个主要差距，旨在作为基于图像识别的手术辅助功能中各种机器学习任务的基础。潜在应用包括通过自动分割任务开发智能辅助系统、建立无监督学习方法，或者将术前成像数据（例如CT、MRI）与腹腔镜图像进行配准以用于手术导航。

方法

这个数据集包含对十一个主要腹部解剖结构的注释：腹壁、结肠、肠血管（肠系膜下动脉和肠系膜下静脉及其分支血管）、肝脏、胰腺、小肠、脾脏、胃、输尿管和精囊腺。

视频录制：2019年2月至2021年2月期间，收集了德累斯顿卡尔·古斯塔夫·卡鲁斯大学医院进行的总共32例机器人辅助直肠前切除术或直肠切除术的视频数据，并纳入了这个数据集。大多数患者（26/32）为男性，总体平均年龄为63岁，平均体重指数（BMI）为\(26.75kg/m^2\)（表1）。所有纳入的患者都有手术的临床指征。手术使用标准的达芬奇® Xi/X内窥镜（直径8mm，角度30°，直观外科公司，产品代码470057）进行，并使用CAST系统（德国美因河畔法兰克福的奥菲斯医疗有限公司）进行录制。每个记录以1920×1080像素的分辨率保存为MPEG - 4格式，时长约两到十小时。当地机构审查委员会（德累斯顿工业大学伦理委员会）对本研究进行了审查并批准（批准号：BO - EK137042018）。获取本数据集的试验已在clinicaltrials.gov上注册（试验注册号：NCT05268432）。所有参与者均已签署书面知情同意书，同意进行腹腔镜图像数据采集、数据注释、数据分析以及匿名数据发表。在发表之前，所有数据均根据欧盟的通用数据保护条例进行了匿名化处理。

视频的时间注释：手术过程由一名有两年机器人辅助直肠手术经验的医学生（MC，FMR）使用\(b<>com\) 手术工作流程工具箱[注释]2.2.0版本（\(b<>com\)，法国塞松 - 塞维涅），在手术过程中或回顾性地根据先前制定的注释协议（补充文件1）进行时间注释，特别关注上述解剖结构的可见性。对普遍存在的器官（腹壁、结肠和小肠）、肠血管和精囊腺未进行专门的时间注释。
帧提取：为了获得高度多样化的数据集，对于每个解剖结构，至少考虑了20次不同手术的视频。从每个考虑的手术视频中，从显示特定器官的视频数据总量中随机选择多达100个等距帧。结果，对于每个器官或解剖结构，这个数据集包含来自至少20名不同患者的至少1000张注释图像。每个器官和手术提取和注释的图像数量、分割数量以及每个器官未分割背景的平均比例列于表2。
对于没有时间注释的解剖结构（腹壁、结肠、肠血管、小肠和精囊腺），使用LossLessCut 3.20.1版本（由米凯尔·芬斯塔德开发）手动选择并合并显示特定器官的序列。使用Python脚本（见“代码可用性”部分）从合并的视频文件中随机提取帧。提取率（每秒提取的帧数）根据合并视频的持续时间进行调整，以便每个器官每次手术最多提取100张图像。图像以1920×1080像素的分辨率保存为PNG格式。

对于肝脏、胰腺、脾脏、胃和输尿管，时间注释作为使用上述Python脚本进行帧提取过程的基础。基于包含器官存在时间注释的TXT文件，按照上述方法从各个序列中为每个器官提取等距帧。
对得到的帧进行审核，手动排除不可用的图像（例如，器官完全被器械遮挡而不可见、整个视野充满烟雾、由于相机模糊导致可见度严重受限）。
没有应用自动过滤过程来专门选择或排除图像（例如，基于互信息）。为了保持术中成像固有的可变性，没有执行诸如调整图像强度、对比度或窗口大小等图像预处理步骤。图像直接从手术过程中录制的视频中提取，转换为PNG（无损）格式，然后直接进行注释。
语义分割：对于逐像素分割，我们使用了3D Slicer 4.11.20200930（https://www.slicer.org），包括SlicerRT扩展，这是一个开源的医学图像分析软件[12]。使用运行Microsoft Windows的手写笔平板电脑，通过Segment Editor功能手动对解剖结构进行语义分割。分割过程中的设置为“剪刀”、操作“填充内部”、形状“自由形式”、切片切割“对称”。作为指导，我们生成了一个分割协议，详细描述了每个考虑的解剖结构的纳入标准（补充文件2）。三名具有微创外科基础经验的医学生根据这个指导方针，对每张单独的图像进行语义注释。因此，每张图像最终只分割一个特定的解剖结构（例如，在1374张结肠图像中，每张图像都对结肠进行了逐像素注释）。此外，从1430张胃的帧中创建了一个多器官分割数据集。选择胃的数据集是因为这些图像经常显示各种器官，如结肠、小肠或脾脏以及腹壁。随后，自动合并三个单独的注释（见“代码可用性”部分）。一名具有三年微创外科经验的医生对单独的注释以及合并的分割进行审查和调整。图1给出了图像生成和验证过程的概述。图2提供了注释示例。
弱标记：弱标签提供了关于不同解剖结构在整个图像中可见性的信息。弱标签由一名具有微创外科基础经验的医学生进行注释，并由另一名医学生在每一帧中进行审查（图1）。

完整的数据集可在figshare上访问[13]。

13. Carstens, M. et al. The Dresden Surgical Anatomy Dataset for abdominal organ segmentation in surgical data science. Figshare
https://doi.org/10.6084/m9.figshare.21702600 (2022).

数据记录

德累斯顿外科解剖数据集存储在figshare上[13]。用户无需事先注册即可访问该数据集。数据采用三级文件夹结构进行组织。第一级由十二个子文件夹组成，每个子文件夹对应一个器官/解剖结构（abdominal_wall、colon、inferior_mesenteric_artery、intestinal_veins、liver、pancreas、small_intestine、spleen、stomach、ureter和vesicular_glands），还有一个用于多器官数据集（multilabel）。
每个文件夹包含20到23个用于不同手术的子文件夹，这些图像是从这些手术中提取的。子文件夹的命名来自每次手术的个体索引号。每个这样的文件夹包含5到91个PNG文件的两个版本，一个是从手术视频文件中提取的原始图像，另一个是包含专家审查后的语义分割掩码的图像（黑色 = 背景，白色 = 分割）。原始图像命名为imagenumber.png（例如image23.png），掩码命名为masknumber.png（例如mask23.png）。在multilabel文件夹中，对于单个图像上可见的每个考虑的结构都有单独的掩码（例如masknumber_stomach.png）。相关图像的图像索引始终匹配。
每个手术和器官特定的文件夹还包含一个名为weak_labels.csv的CSV文件，其中包含关于相应图像中十一个相关器官可见性的所有信息。这些CSV文件中的列按字母顺序排列：腹壁、结肠、肠系膜下动脉、肠静脉、肝脏、胰腺、小肠、脾脏、胃、输尿管和精囊腺。
此外，可以从手术和器官特定的子文件夹访问anno_1、anno_2、anno_3和merged文件夹。这些文件夹包含不同注释者生成的掩码以及自动生成的掩码合并版本，均为PNG格式。

技术验证

为了合并数据集中每张图像的三个不同注释，应用了STAPLE算法[14]，该算法通常用于合并生物医学问题中的不同分割。每个注释者被赋予相同的权重。然后，将合并的注释与注释者的原始分割一起上传到位于德累斯顿国家肿瘤疾病中心（NCT/UCC）的一个名为CVAT（https://github.com/openvinotoolkit/cvat）[15]的分割和注释平台。负责审查数据的医生可以登录，为每张图像选择最合适的注释，并在必要时进行调整。
为了评估单个注释者的分割以及合并注释与每张图像最终注释之间的一致程度，我们计算了两个用于分割比较的标准指标[16]：
- F1分数，用于展示不同注释之间的重叠程度，值在0到1之间（0：无重叠，1：完全重叠）。
- 豪斯多夫距离，一种距离度量，计算参考注释与另一个分割之间的最大距离。这里我们通过图像对角线对豪斯多夫距离进行了归一化，结果值在0到1之间，0表示两个分割之间没有分离，1表示两个分割之间有最大距离。
这种比较的结果列于表3，按照不同的组织类型进行排序。该表显示，对于大多数器官，合并注释与最终结果之间没有很大差异，大多数F1分数超过0.9，表明重叠度较高，而较低的豪斯多夫距离值表明不存在过度或欠分割的趋势。只有输尿管类别的F1分数似乎表明专家注释者需要经常干预，不过，低豪斯多夫距离值表明差异仍然很小。
大多数注释者似乎也经常与最终注释一致，尽管并不总是与合并注释的一致程度相同，这证明了通过STAPLE进行融合的合理性。与合并注释类似，在输尿管类别方面存在较大差异。不过，一般来说，至少有两名注释者似乎在很大程度上与专家注释一致。

使用说明

提供的数据集在知识共享署名CC - BY许可下可用于非商业用途。如果读者希望使用或引用这个数据集，应该引用本文。
该数据集可用于机器学习领域的各种目的。一方面，它可以与其他已有的数据集结合，作为进一步图像材料的来源。另一方面，它可以用于创建使用弱标签或语义分割掩码的器官检测算法，例如作为进一步开发辅助应用程序的基础[17]。建议的训练 - 验证 - 测试分割以及详细分割研究的结果在另一篇出版物中报告[18]。

代码可用性

用于帧提取、注释合并和统计分析的脚本，以及统计分析的结果，可在https://gitlab.com/nct_tso_public/dsad和https://zenodo.org/record/6958337.YvIsP3ZBxaQ上公开获取。所有代码均用python3编写，可免费访问。

表1：患者特征。年龄和BMI显示均值±标准差。对于所有其他数据，该表给出整个队列（32名患者）的总数和比例。缩写：腹会阴联合切除术（APR）、前切除术（AR）、体重指数（BMI）、括约肌间切除术（ISR）、低位前切除术（LAR）、部分直肠系膜切除术（PME）、全直肠系膜切除术（TME）、国际癌症控制联盟（UICC）。

表2：数据集中每个器官和手术的图像分布。对于每次手术和每个器官，给出数据集中的图像总数。此外，该表总结了每个器官的分割中位数和非分割背景的平均比例。缩写：标准差（SD）。

图1：数据采集和验证过程概述。基于32例直肠切除术的时间注释，三名独立注释者根据各自器官的像素位置对每张图像进行语义分割。这些分割被合并，一名在微创手术方面有丰富经验的医生会对单个分割以及合并后的分割进行审查，从而得到最终的逐像素分割（左图）。此外，一名注释者会对每张图像中所有感兴趣的单个解剖结构的可见性进行分类，并由另一名注释者独立审查（右图）。