SafeRPlan: 用于椎弓根螺钉置入术中规划的安全深度强化学习|文献速递-生成式模型与transformer在医学影像中的应用

Title

题目

SafeRPlan: Safe deep reinforcement learning for intraoperative planning of pedicle screw placement

SafeRPlan: 用于椎弓根螺钉置入术中规划的安全深度强化学习

01

文献速递介绍

椎弓根螺钉是脊柱手术中不可或缺的器械组件，作为机械锚点用于在融合手术中实现初步稳定。由于手术过程中视野的限制，安全的椎弓根螺钉植入（PSP）仍然是一项挑战，尤其是在靠近重要结构（例如脊髓和主动脉）时，传统手术方式更为困难。因此，已经开发了各种计算机辅助和机器人辅助技术，以提高PSP的准确性（Lieberman等，2006, 2020；Farber等，2021；D’Souza等，2019b）。这些系统还促进了最小创伤手术（MIS），无需打开脊柱即可进行椎弓根螺钉植入。一般程序包括在术前获得的体积影像（例如CT扫描）上进行螺钉轨迹的术前规划，术中进行术前计划与术中解剖之间的配准，并通过机器人末端执行器的定位提供实时指导。

术中CT已经被广泛使用并在先前的研究中进行了深入研究，作为实现病人配准的术中手段（Kim等，2014；Du等，2018；Yanni等，2021；Baldwin等，2022；Conrads等，2023）。然而，除了后勤和经济方面的顾虑（D’Souza等，2019a），术中CT的一个主要缺点是额外的辐射暴露，既对病人也对手术团队（Costa等，2011；Mendelsohn等，2016）。此外，前述的大多数规划方法属于基于配准的“一次性规划”方法，因为这些方法的规划结果仅包含已植入螺钉的最终姿态。然而，配准过程本身仍然容易出错，可能导致不安全的规划（Zhang等，2019；Scherer等，2023）。此外，在最小创伤手术中，复杂的场景不仅需要对螺钉的最佳位置进行精确引导，还需要对整个手术工具的轨迹进行精确引导，从其初始位置到目标解剖结构的插入点。

最小创伤路径规划已在颅脑手术和柔性针穿刺中得到了广泛研究（Hamzé等，2016a,b；Li等，2017；Tan等，2020）。然而，在脊柱手术方面，只有有限的研究涉及到这方面的工作（Zhang等，2018），尤其是没有文献讨论与椎弓根螺钉植入相关的路径规划方法。因此，我们的研究旨在探讨椎弓根螺钉植入的安全连续路径规划。与使用CT作为术中影像模态不同，我们专注于基于超声（US）影像进行规划，这在机器人脊柱手术中逐渐受到重视（Li等，2023a；Barratt等，2008；Nagpal等，2014；Ma等，2017；Liu等，2022；Tu等，2022）。这种选择的原因在于超声的优势，包括无辐射、实时反馈，并有助于基于影像反馈进行规划。

尽管如此，由于诸如视野小、穿透深度浅、高维度和传感器噪声等固有挑战，使用超声影像进行顺序决策仍然困难。然而，最近的机器人研究表明深度强化学习（DRL）在解决一些挑战方面表现出了有效性（Lee等，2020；Miki等，2022；Kalashnikov等，2018；Scheikl等，2022）。然而，到目前为止，DRL在术中临床环境中的应用仍然有限，主要是由于安全性问题，学习到的策略仍可能采取高风险的行动（Pore等，2021；Lee等，2023）。现有的DRL方法通过奖励塑形（Pore等，2021）或使用来自人类专家的离线示范（Thananjeyan等，2021, 2020）来解决安全性问题。但奖励塑形仍缺乏安全性保证，而专家示范在我们的环境中并不总是可用。

在本研究中，我们提出了SafeRPlan，这是一种安全的DRL流程，利用从超声影像中部分重建的脊柱表面，进行椎弓根螺钉植入手术的连续术中规划（图1）。我们提出了一种新颖的方法，利用术前数据对DRL代理进行预训练。这与经典方法（Nagpal等，2014；Winter等，2008；Barratt等，2008）不同，后者仅使用术前数据进行刚性配准（图2）。为了实现自动化和持续的最小创伤路径规划，我们提出了一种安全的DRL代理，通过结合基于距离的安全过滤器（DSF），使其能够安全地进行行动，灵感来源于Selim等（2022），Shao等（2021），Alshiekh等（2018）和As等（2022）。虽然传统系统仅根据工具和目标的位置进行手术规划，但我们的方法可以基于部分和噪声观察（例如重建的点云）更新规划，这使得它适用于像超声这样的新兴术中影像模态。此外，我们还利用了领域随机化和师生学习技术，来提高我们方法在术前影像和术中模态之间特征的领域差异中的泛化能力。我们已经通过高保真度的人体模型数据集以及合成和真实的超声重建数据集验证了我们的方法，结果表明该方法在实际机器人手术系统中的潜力。

Aastract

摘要

Spinal fusion surgery requires highly accurate implantation of pedicle screw implants, which must be conductedin critical proximity to vital structures with a limited view of the anatomy. Robotic surgery systems havebeen proposed to improve placement accuracy. Despite remarkable advances, current robotic systems still lackadvanced mechanisms for continuous updating of surgical plans during procedures, which hinders attaininghigher levels of robotic autonomy. These systems adhere to conventional rigid registration concepts, relyingon the alignment of preoperative planning to the intraoperative anatomy. In this paper, we propose a safedeep reinforcement learning (DRL) planning approach (SafeRPlan) for robotic spine surgery that leveragesintraoperative observation for continuous path planning of pedicle screw placement. The main contributionsof our method are (1) the capability to ensure safe actions by introducing an uncertainty-aware distance-basedsafety filter; (2) the ability to compensate for incomplete intraoperative anatomical information, by encodinga-priori knowledge of anatomical structures with neural networks pre-trained on pre-operative images; and(3) the capability to generalize over unseen observation noise thanks to the novel domain randomizationtechniques. Planning quality was assessed by quantitative comparison with the baseline approaches, goldstandard (GS) and qualitative evaluation by expert surgeons. In experiments with human model datasets, ourapproach was capable of achieving over 5% higher safety rates compared to baseline approaches, even underrealistic observation noise. To the best of our knowledge, SafeRPlan is the first safety-aware DRL planningapproach specifically designed for robotic spine surgery

脊柱融合手术需要高精度的椎弓根螺钉植入，且必须在靠近重要结构的关键区域进行，且视野有限。为了提高植入精度，已经提出了机器人手术系统。尽管取得了显著进展，但现有的机器人系统仍然缺乏在手术过程中持续更新手术计划的先进机制，这限制了机器人自主性的提升。这些系统依赖于传统的刚性配准概念，依赖于将术前规划与术中解剖结构对齐。本文提出了一种安全深度强化学习（DRL）规划方法（SafeRPlan），用于机器人脊柱手术，通过利用术中观察进行椎弓根螺钉植入的持续路径规划。我们方法的主要贡献有：（1）通过引入基于距离的安全过滤器，结合不确定性感知，确保安全行动；（2）通过利用神经网络对术前影像进行预训练，编码术前解剖结构的先验知识，补偿术中解剖信息的不完整性；（3）通过创新的领域随机化技术，使得系统能够适应未见过的观察噪声。通过与基准方法（如金标准，GS）的定量比较以及专家外科医生的定性评价，评估了规划质量。在使用人体模型数据集进行的实验中，我们的方法在实际观察噪声下，安全率较基准方法提高了超过5%。据我们所知，SafeRPlan是首个专为机器人脊柱手术设计的安全感知DRL规划方法。

Method

方法

In this work,wepresentSafeRPlan,aframeworkfor automatic,continuous and safe intraoperative planning of PSP procedures basedon intraoperative surface reconstruction from US imaging, which is tobe integrated into a robotic system for ultrasonic-based PSP drilling.Instead of performing rigid registration between preoperative and intraoperative data, we use preoperative data to pre-train a DRL agentfor safe intraoperative planning. Section 3.2 first describes the clinicalapplication of the envisioned robotic system and defines the task tobe solved by SafeRPlan. The training simulation is described in Section 3.3, in which we generate randomized synthetic US reconstruction(RsUS) data to condition the agent for the intraoperative applicationwhere only the partial reconstruction of the spine surface is available.Then we model the task as a state-wise constrained Markov decisionprocess (SCMDP), which is detailed in Section 3.4. Section 3.5 introduced the safe DRL agent with a distance-based safety filter (DSF),as well as the teacher–student (TS) learning technique<