【文献阅读】Colonoscopy Navigation using End-to-End Deep Visuomotor Control: A User Study

2022年IEEE/RSJ国际智能机器人与系统会议（IROS）
2022年10月23 - 27日，日本京都

 基于端到端深度视觉运动控制的结肠镜检查导航：一项用户研究

@inproceedings{pore_colonoscopy_2022,
    title = {Colonoscopy navigation using end-to-end deep visuomotor control: {A} user study},
    booktitle = {2022 {IEEE}/{RSJ} {International} {Conference} on {Intelligent} {Robots} and {Systems} ({IROS})},
    publisher = {IEEE},
    author = {Pore, Ameya and Finocchiaro, Martina and Dall'Alba, Diego and Hernansanz, Albert and Ciuti, Gastone and Arezzo, Alberto and Menciassi, Arianna and Casals, Alicia and Fiorini, Paolo},
    year = {2022},
    pages = {9582--9588},
}

摘要

用于结肠镜检查的柔性内窥镜（FEs）因其固有的复杂性存在一些局限性，导致患者不适，且对临床医生来说缺乏直观性。具有自主控制功能的机器人柔性内窥镜是一种可行的解决方案，它可以减少内镜医师的工作量和培训时间，同时改善手术效果。以往关于自主控制柔性内窥镜的研究采用启发式策略，这限制了它们在非结构化且高度可变形的结肠环境中的泛化能力，并且需要频繁的人工干预。这项工作提出了一种基于深度强化学习的、名为深度视觉运动控制（DVC）的图像式柔性内窥镜控制方法，以在结肠的复杂部位表现出自适应行为。DVC学习图像与柔性内窥镜控制信号之间的映射关系。通过一个逼真的虚拟模拟器，对20位专家胃肠内镜医师进行了首次用户研究，以比较他们与DVC的导航性能。结果表明，DVC在多个评估参数上表现相当，且更安全。此外，对20位新手用户进行了第二次用户研究，以证明与最先进的启发式控制策略相比，DVC更易于人工监督。对结肠镜检查过程进行无缝监督将使内镜医师能够专注于医疗决策，而不是柔性内窥镜的控制。

图1. 深度视觉运动控制（DVC）流程图。环境提供状态观察\(S_{t}\) 。DVC智能体使用状态输入生成动作\(a_{t}\) ，并将其应用于环境。在训练过程中，DVC学习策略\(\pi_{\phi}\) 以执行自主导航。在评估阶段，监督临床医生可以通过动作\(a_{t'}\) 覆盖DVC的决策。

 一、引言

结肠镜检查仍然是结直肠癌（CRC）诊断和治疗的金标准，结直肠癌是全球第三大常见恶性肿瘤 。在常规检查过程中，首先将柔性内窥镜从直肠插入盲肠，然后撤回以检测可能的早期结直肠癌病变。早期检测结直肠癌可将生存率提高90% 。基于柔性内窥镜的检查过程很复杂，因为内窥镜尖端与控制转向旋钮之间的映射不直观，这需要长期且广泛的训练过程 。因此，这些检查过程增加了组织拉伸和穿孔的风险，这是患者不适和疼痛的主要原因 。此外，据报道，内镜医师因身体姿势不当会出现与工作相关的肌肉骨骼损伤 。随着结肠镜检查临床需求的增加，训练有素的内镜医师短缺可能会导致潜在的生命损失。

为了克服这些限制，目前的研究工作正在开发使用机器人化柔性内窥镜的导航系统，如磁驱动柔性内窥镜 。机器人化柔性内窥镜通过添加自主导航功能引入自动化技术，自主导航是结肠镜检查中最耗时的步骤 。这将使内镜医师能够专注于检查过程的临床方面，而不是柔性内窥镜的控制，有可能改善整体检查结果并减少培训时间 。

在导航阶段，临床医生主要使用来自柔性内窥镜摄像头的视觉反馈来推进通过肠腔 。在内镜检查过程中，内镜医师常见的一个动作是将内窥镜的方向集中到肠腔中心。以往关于内镜导航的研究构建了基于规则的控制器，通过缩小图像中心与检测到的肠腔中心之间的距离来复制这个动作 。当内窥镜尖端接近结肠壁时，这些算法就会失效。这种情况的发生是由于结肠的高度可变形性以及患者运动、蠕动和呼吸带来的可变移动性，这使得肠腔检测并非易事。这些情况需要人工干预来纠正运动方向，或者可以通过本文提出的自适应探索方法来处理。

基于规则的控制器正逐渐被数据驱动的方法所取代，如深度强化学习（DRL），因为它们具有一定程度的适应性 。然而，深度强化学习在学习手术任务方面的应用仅限于低维物理状态特征，如机器人运动学数据，人们普遍认为这些特征样本效率高且易于学习 。本文提出了一种基于图像的深度强化学习方法来控制柔性内窥镜（图1），重点是通过设计一种端到端策略来学习导航任务，该策略将原始内窥镜图像映射到内窥镜的控制信号，此后称为深度视觉运动控制（DVC）。我们主要通过一项用户研究来评估DVC，20位专家内镜医师在一个逼真的虚拟模拟器中执行导航任务。

自主导航的引入可以改善临床实践，使临床医生从繁重的认知和体力任务中解脱出来。然而，在安全关键领域，如医疗机器人，非常需要保持人工监督以解决伦理和法律问题。因此，在实际手术场景中部署DVC时，考虑人在回路是至关重要的。因此，我们对20名新手参与者进行了第二次用户研究，以证明非专家用户可以轻松监督自主导航，并且与最先进的方法相比，DVC减少了对人工干预的需求。

这项工作通过提出一种用于自主导航的DVC策略并对专家内镜医师进行性能评估，对生成结肠镜检查的自适应控制进行了初步研究。

本文的内容组织如下：第二节描述了相关工作，第三节解释了实施方法。在第四节中，我们详细阐述了实验评估。最后，结果和结论分别在第五节和第六节中进行讨论。

 二、相关工作

结肠镜检查中自主导航的优势促使了该领域的多项研究。在文献[11]中，开发了一种螺旋式内窥镜，并使用强化学习演示了运动调整。这项研究使用机器人运动学变量作为状态输入；然而，通过直线段的导航速度较慢，并且由于机器人的尺寸，通过弯道的导航很困难。一些研究集中在磁引导内窥镜上 。在文献[4]中，提出了基于预定义轨迹的导航；因此，将这种方法扩展到复杂的非线性轨迹具有挑战性。文献[3]中使用启发式路径规划算法在结肠模型中生成可行路径。这种方法采用基于力的实时传感来引导导航。基于力的传感在现有的柔性内窥镜设备中仍未广泛应用；此外，在没有场景可视化的情况下解释机器人动作具有挑战性，因此不适合人工监督。在文献[5]中，开发了一种静态感知模型，该模型从原始图像中提取肠腔中心。通过比例控制器实现内窥镜位置和方向的控制，该控制器将内窥镜图像与肠腔中心对齐。类似的基于规则的控制器之前在文献[7]中已经开发出来；然而，对于非线性组件，如解析计算图像雅可比矩阵和交互矩阵，它们需要大量的手动操作 。此外，由于结肠的动态特性及其急转弯，肠腔检测可能不稳定且容易出错。使用深度强化学习学习端到端的视觉运动表示以进行直接控制，克服了这些限制，无需单独设计感知和控制模型，并提供了在训练时改进模型参数的能力 。

一些研究提出了训练深度强化学习策略以实现手术任务自动化的框架 ，如操纵刚性和可变形物体。这些研究使用专门为机器人辅助手术设计的简化环境来学习器械控制。最近，文献[15]提出了一种用于优化内窥镜相机视角的深度强化学习方法。这些研究使用低维状态信息来训练深度强化学习算法，如机器人的运动学值、目标位置等 。在实际的结肠镜检查场景中，由于传感能力的限制，很难准确捕捉内窥镜的运动学信息 ，并且术中指导仅基于视觉反馈。

图2. 实验阶段使用的结肠模型。（从左到右）按复杂程度递增的顺序排列，\(Co\) 、\(C_{1}\) 、\(C_{2}\) 和\(C_{3}\) 模型。模型的复杂性由从直肠到盲肠的中心线以及通过目视检查估计的急弯数量（即大于90度）来表征。

 三、方法

我们的目标是开发用于感知和控制的端到端联合训练，以学习将原始内窥镜图像直接映射到机器人化柔性内窥镜控制信号（例如电机扭矩）的导航策略。为了简化起见，我们假设对机器人的运动要求能够立即执行，没有任何延迟。我们开发了一个具有可变形组织动力学的逼真结肠镜检查模拟器，在第三节A部分进行描述。此外，我们在第三节B部分解释了DVC的实现细节。

 A. 仿真平台

结肠模拟：使用公开的CT结肠造影数据集以半自动方式对肠道的3D模型进行分割 。对分割后的模型进行细化，并生成体积和表面网格。使用来自KVASIR数据集的真实内窥镜图像创建逼真的纹理并应用于模型 。然后，将获得的结肠模型加载到SOFA（仿真开放框架架构）中，在其中生成基于实时有限元分析的逼真机械模型，设置仿真参数以模拟结肠组织的行为 。此外，实现了内窥镜与结肠之间的碰撞检测，并纳入了物理约束以真实地限制结肠变形。采用Unity3D创建高质量且逼真的视觉渲染，包括额外的视觉效果，如器官表面的反射或内窥镜图像的周边暗角 。

内窥镜模拟：我们假设一个接近磁引导柔性内窥镜的场景，外部磁体控制磁性尖端的运动，而系绳被动地跟随尖端 。因此，在这个初步的模拟器版本中，我们忽略了内窥镜系绳的影响，因为它与结肠模型有多个碰撞点，可能会导致模拟不稳定。内窥镜尖端被建模为一个刚性胶囊，重量、长度和直径分别为20g、36mm和14mm 。添加了4 rad/sec²的角阻力以考虑摩擦阻力 。内窥镜尖端嵌入一个摄像头，并具有四个运动自由度，如图3所示，即平移（插入/撤回）、滚动、在两个垂直方向上的弯曲（俯仰/偏航）。

图3. 内窥镜尖端局部坐标系的表示。相机的X - Y平面与图像平面平行，而z轴表示插入方向。绿色区域表示检测到的肠腔中心。

 B. 深度视觉运动控制

深度强化学习背景

结肠导航问题被形式化为一个马尔可夫决策过程（MDP），由一个元组\((S, A, R, P, \gamma, T)\)表示，其中\(S\)表示状态空间，\(A\)是动作空间，\(P\)是转移概率分布，\(R\)是奖励空间，\(\gamma \in[0,1]\)是折扣因子，\(T\)是每个情节的时间范围。在每个时间步\(t\)，环境产生一个状态观察\(s_{t} \in S\) 。然后，智能体根据策略\(a_{t} \sim \pi(s_{t})\)生成一个动作\(a_{t} \in A\) ，并将其应用于环境以获得奖励\(r_{t} \in R\) 。结果，智能体转移到一个从转移函数\(p(s_{t + 1} | s_{t}, a_{t})\)中采样的新状态\(s_{t + 1}\) ，\(p \in P\) ，或者在状态\(s_{T}\)结束情节。

学习算法

智能体的目标是学习一个由\(\phi\)参数化的随机行为策略\(\pi_{\phi}: S \to P(A)\) ，以最大化预期的未来折扣奖励\(E[\sum_{i = 0}^{T - 1} \gamma^{i} r_{i}]\) 。我们选择近端策略优化算法（PPO） 作为一种成熟的深度强化学习算法，这是基于其在训练时间和超参数调整方面的综合回报。提出一种新的深度强化学习方法超出了本文的范围，本文的主要目标是进行一项用户研究，以评估基于图像的深度强化学习在结肠镜检查导航中的性能。在训练阶段，每个情节的长度设置为10000次迭代步骤，\(\gamma = 0.99\) ，批量大小和学习率超参数分别为64和\(3×10^{-4}\) 。PPO的裁剪比率为0.2，每个 epoch有4个小批量，每次迭代有4个epoch。每次训练持续150万次迭代步骤，这是奖励函数收敛所需的时间（图5）。

动作空间

对内窥镜的初步手动控制表明，如果内窥镜指向结肠壁，特别是在急转弯处，肠腔将不可见。因此，在这种情况下避免内窥镜的平移至关重要。因此，我们开发了一种动作策略，只有在检测到肠腔时才以\(v_{end } = 10 \text{mm/sec}\)的恒定速度进行平移运动。动作空间由内窥镜尖端三个自由度的离散角旋转值组成，在第\(j\)个空间维度上\(\delta \theta_{j} = \alpha\) ，\(\alpha \in \{0, - 1, + 1\}\) 。在尖端局部参考系中，\(j \in x, y, z\)分别对应于图像平面中水平和垂直方向的方向对齐以及内窥镜的滚动（图3）。当肠腔不可见时，内窥镜的平移速度设置为零，智能体进行方向改变以检测肠腔。

观察空间和策略

DVC智能体的感官输入由下采样的内窥镜图像组成。由内窥镜相机渲染的RGB图像（1024×1024像素）被下采样到128×128像素。策略\(\pi_{\phi}\)由一个卷积神经网络（CNN）架构表示，该架构由两个卷积层组成（图1），用于编码视觉场景表示。网络的详细信息可在项目网站上公开获取 。卷积层的输出被输入到一个由全连接层和长短期记忆（LSTM）层组成的组合中，以表示与时间相关的行为，每个层都有128个修正单元，然后通过线性连接到每个动作\(a_{t}\)的输出logits \(\pi_{t}\)和值估计\(V_{t}\) 。一个softmax函数将logits转换为动作概率。整个网络进行端到端训练以获取特定任务的视觉特征。

奖励函数

导航的目标是在没有任何重大并发症的情况下到达结肠末端。视觉运动控制应该能够在整个过程中跟踪结肠。成功的跟踪要求肠腔中心\(P_{L}\)接近图像中心\(P_{c}\) 。因此，设计了一个密集奖励\(r_{t}(s_{t}, a_{t})\)如下：
\[r_{t}\left(s_{t}, a_{t}\right)=\left\{\begin{array}{ll}C\left(1-\left(\left\| P_{L}-P_{c}\right\| _{2} / D_{max }\right)\right), & L = 1 \\ -1, & L = 0\end{array} \quad\right.\]
其中\(D_{max } = 1 / 2 ×(图像宽度)= 64\) ，是归一化因子，即可能的最大距离，\(L\)表示肠腔检测标志（1表示检测到肠腔，0表示未检测到肠腔），超参数\(C\)选择为1。此外，如果到达结肠末端，智能体将获得 +10的奖励，如果返回原始起点，则获得 -10的奖励，以鼓励智能体单向向盲肠移动。为了在内窥镜图像中检测结肠肠腔，我们基于文献[20]构建了一个以30fps实时运行的阈值分割算法，该算法首先对图像进行分割以检测最暗且最明显的区域，假设该区域很可能包含远端肠腔（图4）。分割是通过将RGB图像转换为灰度图，并裁剪一个以图像中心为圆心、直径等于图像宽度的圆形区域来去除角落的暗角效应来完成的。

图4. 提出的用于肠腔检测的自适应阈值分割流程。a) 原始RGB帧 b) 检测到的肠腔的图像掩码（绿色） c) 图像中心\(P_{C}\)与检测到的最暗区域质心\(P_{L}\)之间的距离向量。

导航指标	描述
插入时间（TOI）	从检测到内窥镜开始移动的时间点到到达盲肠的时间点进行测量
结肠壁碰撞（CWC）	指内窥镜尖端接触结肠壁的情况。所用结肠模型的平均直径为 5cm，因此确定 δd = 1cm 的阈值来将变形归类为 CWC
归一化距离	行进距离很关键，因为多次向后运动、改变方向可能导致轨迹不理想。使用内窥镜尖端的位置值测量行进距离。该距离通过结肠模型的中心线距离进行归一化，以便在不同结肠模型之间进行比较。归一化距离大于 1 表示路径距离比中心线路径长，小于 1 表示路径比中心线短
平均肠腔距离（LD）	人们认为肠腔集中化可创建平滑的插入轨迹，因此在每个时间点记录图像平面中的肠腔距离。该距离通过图像大小进行归一化，得到 [0,1] 内的值。肠腔距离值为 0 表示图像中心（\(P_c\)）与检测到的肠腔（\(P_L\)）重合，值为 1 表示检测到的肠腔在最远点

表1 用于验证的导航参数及其描述

 四、实验评估

实验的目标是比较DVC智能体、基于规则的控制基线方法 和内镜医师的导航性能。因此，我们创建了一个流程，可以在我们开发的模拟器中记录内窥镜的位置和方向值、图像空间中的肠腔距离、结肠变形以及相机图像。

 内镜医师数据采集

一组20位专家内镜医师（具有超过四年的经验）被要求在第三节A部分开发的模拟场景中进行导航尝试。由于时间限制和COVID规定，考虑到领域专家的意见，选择了四个结肠模型来代表逐渐复杂的场景（图2）。每位内镜医师被指示使用PlayStation（索尼互动娱乐，美国）操纵杆设备从直肠导航到盲肠。模型\(Co\)符合普通人结肠的形状和大小，用于在初始化试验前让内镜医师熟悉控制。试验从内镜医师对\(C_{1}\)结肠的尝试开始，然后对\(C_{2}\)和\(C_{3}\)结肠进行随机尝试。在\(C_{2}\)和\(C_{3}\)结肠之间引入随机性是为了识别基于结肠模型的性能偏差。

 训练DVC智能体

我们进行了三个实验来验证DVC。首先，我们的目标是确定在不同结肠复杂程度上训练的样本效率。因此，我们使用内镜医师实验中使用的相同模型分别训练DVC智能体。其次，为了在DVC和内镜医师之间进行比较分析，我们遵循了与内镜医师实验类似的实验流程，其中DVC仅在\(C_{0}\)（\(DVC_{C_{0}}\)）上进行训练，并在\(C_{1}\)、\(C_{2}\)和\(C_{3}\)结肠上进行测试。第三，DVC在\(C_{0}\)模型上进行训练，然后在\(C_{1}\)（\(DVC_{C_{0}+C_{1}}\)）上进行训练，以测试在简单结肠之后在复杂结肠上进行训练是否能提高性能。为了使DVC训练的总迭代步数保持在150万次，在\(C_{0}\)上的训练在100万次迭代步骤后终止，并加载回来在\(C_{1}\)上进行50万次迭代步骤的训练（表二）。

 监督

20位新手参与者（没有内镜检查经验）被要求监督基于规则的控制器智能体和DVC智能体的性能。实验流程包括三个试验：参与者尝试导航\(C_{1}\)，然后对\(C_{2}\)和\(C_{3}\)结肠模型进行随机尝试，类似于内镜医师的数据采集。\(C_{0}\)用于初始训练。每个试验的特点如下：
1. 手动控制：参与者被指示在整个过程中仅使用操纵杆控制内窥镜。
2. 基于规则的基线：生成一个用于方向控制的比例控制器，将图像中心（\((P_{c})\)）与检测到的肠腔（\((P_{L})\)）对齐，如下所示：
\[\delta \theta=\beta\left[\begin{array}{l}P_{L_{x}}-P_{c_{x}} \\ P_{L_{y}}-P_{c_{y}}\end{array}\right]\]
我们将\(P_{L}\)和\(P_{c}\)之间的距离称为肠腔距离（LD）。
3. DVC：部署一个经过充分训练的\(DVC_{C_{0}}\) 。在控制策略2中，当未检测到肠腔中心时，基于规则的控制器表明需要手动监督。在控制策略3中，当未检测到肠腔时，智能体有（\(\Delta_{t}=50\)）次迭代步骤来搜索肠腔。在\(\Delta_{t}\)步之后，DVC通知需要人工监督，并激活手动控制。在这两种控制策略中，当遇到不安全行为（例如与结肠壁碰撞或运动方向反转）时，用户都有覆盖选项来接管控制。一旦手动控制激活，参与者可以安全地导航内窥镜，并将控制权交回给DVC或基于规则的控制器。在每次尝试中，记录参与者的干预次数。显示低分辨率（128x128像素）图像以方便理解机器决策，但是用户可以选择切换到高分辨率（1024x1024像素）显示。在所有试验之后，用户被要求完成一份美国国家航空航天局任务负荷指数（NASA TLX）问卷 ，以对人类感知的工作量进行评分。

 数据分析

使用四个不同的参数来评估导航性能。插入时间（TOI）和结肠壁碰撞次数（CWC）是结肠镜检查过程的定性评估指标 ，而平均LD和归一化行进距离是本研究中设计的两个用于测量轨迹准确性的指标。每个参数的详细信息在表一中阐述。当用户或DVC反转其运动方向并返回直肠或严重穿孔导致结肠模拟不稳定时，被视为导航尝试失败。

 五、结果与讨论

图5展示了DVC在不同结肠复杂程度上训练时的学习曲线。\(C_{0}\)代表一个简单模型，因此DVC智能体比在其他结肠模型中在相对较少的步骤内达到高奖励值。高奖励表明智能体成功学习完成导航任务。而\(C_{2}\)代表高复杂度，智能体需要120万步才能使奖励收敛到较高值。\(C_{1}\)的训练曲线介于\(C_{0}\)和\(C_{2}\)之间。这表明训练时间与结肠复杂度相关。然而，请注意\(DVC_{C_{0}}\)可以导航其他复杂结肠模型，即它获取了可以泛化到其他结肠模型的特定任务特征（表二）。

图5. 在不同复杂度的结肠上训练DVC的学习曲线。使用三个结肠模型。累积奖励在[-1, 1]范围内归一化。阴影区域表示从五个不同的初始化种子开始训练智能体时获得的值的范围。

图6。DVCC0和内窥镜医生之间的导航性能比较图。绘制了几个参数：a）平均管腔距离，B）结肠壁碰撞，c）标准化距离，d）插入时间。 

表二 \(DVC_{C_{0}}\)和\(DVC_{C_{0}+C_{1}}\)之间的比较

图7. DVC、复杂和最平稳的内镜医师在a)\(C_{1}\) b)\(C_{2}\) c)\(C_{3}\)模型上的轨迹图。

表三 新手用户的NASA任务负荷指数

 比较分析

获取了20位内镜医师的性能数据，同时从不同随机种子开始在\(C_{0}\)上训练10个不同的DVC智能体。专家临床医生确认并验证了模拟的真实性。此外，所有用户都积极评价用于在结肠内导航内窥镜的操纵杆直观、用户友好且易于学习。图6展示了平均LD、CWC次数、完成时间和归一化行进距离的比较。内镜医师和DVC之间在平均LD和CWC次数上存在显著差异。与内镜医师相比，DVC显示出更精确的尖端集中和更少的CWC次数。这种差异的原因之一是临床医生在结肠交界处的急转弯处倾向于推结肠壁（见补充视频）。由于临床上可用的柔性内窥镜的刚性限制，这是临床医生有时会采取的动作。而DVC是基于奖励反馈进行训练以最小化LD，它保持集中以避免与壁接触。对于归一化距离和TOI，没有观察到实质性差异。在内镜医师的性能中观察到更多的差异。一些内镜医师遵循复杂的轨迹，增加了归一化距离和插入时间，而其他内镜医师遵循更平滑的轨迹，导致较低的归一化距离和TOI 。图7展示了内镜医师展示的最复杂和平滑的轨迹以及\(DVC_{C_{0}}\)在\(C_{1}\)、\(C_{2}\)和\(C_{3}\)结肠上执行的轨迹。轨迹的平滑度使用急动指数\(J (cm / sec^{3})\)来估计，它表征了运动中加速度的平均变化率 。人类操作员在执行最优轨迹时往往表现出很大的差异，而DVC的性能保持在平均范围内。

在两个结肠模型上进行分割训练（\(DVC_{C_{0}+C_{1}}\)）并在其他结肠模型上进行评估的结果如表二所示。与\(DVC_{C_{0}}\)相比，\(DVC_{C_{0}+C_{1}}\)在肠腔检测性能上有改进。\(DVC_{C_{0}}\)在50万次迭代步骤时达到高奖励，因此没有额外的反馈来提高性能。我们推测智能体达到了次优的局部最小值，而当在\(C_{0}\)上训练的DVC加载到\(C_{1}\)上进行训练时，它遇到急转弯，这提供了最大化累积奖励的潜力。在其他导航参数（即CWC、TOI和归一化距离）上没有显著改进。

 监督

人工干预分为两部分。第一部分是用户因不安全行为而接管控制，第二部分是系统要求人工监督。基于规则的基线平均需要\(5±1.8\)次人工接管控制，系统要求人工控制时平均需要\(2.5±1.5\)次，而对于DVC，人工接管控制的平均次数为\(0.1±0.5\)次，系统要求人工控制时平均次数为\(0.05±0.2\)次。这种差异归因于DVC在肠腔不易检测时能够自适应地搜索新的插入方向，而基于规则的控制器缺乏这种能力。表三展示了每种控制策略的NASA - TLX。在易用性方面，参与者发现在所有任务负荷类别中，手动控制和基于规则的控制器要求更高，而DVC的工作量显著降低。

 六、结论

以往关于自主结肠镜检查导航的研究使用启发式控制策略，在肠腔检测不直接的情况下无法适应，需要频繁的人工干预。我们提出了一种DVC方法，该方法学习内窥镜图像与控制信号之间的映射。获取了20位内镜医师的运动数据并与DVC控制进行比较。我们的性能评估表明，在插入时间和行进距离方面，DVC表现相当。然而，DVC减少了结肠壁碰撞次数，并展示了高效的肠腔跟踪，提高了安全性。此外，我们进行了第二次新手用户研究，以证明对DVC控制的监督显著降低了用户工作量，整体性能与专家内镜医师相当。

我们未来的工作将展示对所提出的虚拟模拟器的正式验证。此外，所提出的策略将在真实的机器人柔性内窥镜系统上进行测试。因此，在这个模拟研究中做出的一些简化假设需要在学习回路中重新考虑。例如，在控制真实的机器人柔性内窥镜时，常见的情况是所需的运动不像在模拟器中那样平滑，并且由于摩擦和结肠壁的形态，运动不能立即执行。