BigData2024 | Multi-Agent大模型赋能医疗创新：AI助手Surgery Copilot显著提升手术认知能力...-CSDN博客

关注公众号，发现CV技术之美

现如今在外科手术中，特别是在神经外科领域，外科团队面临着巨大的认知负担。这种认知压力主要源于手术过程中需要处理的复杂信息流、做出快速精确的临床判断，以及协调多个团队成员的配合。手术团队不仅需要实时监控患者的生理指标，还要权衡各种手术方案的风险收益，同时还要应对手术过程中可能出现的意外情况。现有的手术辅助系统在信息整合和决策支持方面仍显不足，难以有效地减轻医疗团队的认知负荷，这会影响手术的安全性和治疗效果。

为此，我们基于大模型Agent提出了针对手术室的沙盒系统SurgBox。在这个零风险的环境中，外科团队可以反复演练各类手术场景，包括复杂病例和突发情况的处理。通过系统化的模拟训练，医生能够不断完善临床决策能力，提升团队协作效率，从而增强认知能力。特别地，我们设计了AI手术助手Surgery Copilot，可以在实际手术过程中为医疗团队提供决策支持。通过智能化的信息整合和分析，Surgery Copilot能够帮助医生快速获取关键信息，预判潜在风险，从而有效降低认知负荷。配合Surgery Copilot的实时决策支持，SurgBox为现代医疗培训开辟了一个全新的范式，为提高手术安全性和临床效果提供了强有力的技术支撑。

论文名称：SurgBox: Agent-Driven Operating Room Sandbox with Surgery Copilot
代码链接：https://github.com/franciszchen/SurgBox

手术模拟和决策支持

我们基于Multi-Agent技术研发了手术沙盒系统SurgBox和手术AI助手Surgery Copilot，展示了Multi-Agent LLMs在模拟医疗角色、交互和决策制定中的潜力，并指出了在临床手术领域应用LLMs的差距。本研究提出的SurgBox手术沙盒系统和Surgery Copilot手术AI助手，旨在通过沉浸式模拟和实时手术支持来填补这一空白，提高外科手术的认知表现和临床决策能力。

本研究提出的SurgBox手术沙盒系统重点模拟了神经外科手术中的经鼻垂体瘤手术场景，通过Multi-Agent LLMs模拟手术室中的关键角色，重点模拟了神经外科手术中的术前规划、术中管理、术后总结等手术核心流程。SurgBox手术沙盒系统能够模拟手术团队成员之间的专业交流和应急处理，让外科医生在虚拟环境中获得接近真实的手术训练体验。

与此同时，Surgery Copilot作为实时手术助手，为主刀医生提供关键时刻的决策建议，如手术路径规划、术中风险预警等信息。通过将Surgery Copilot与临床外科手术的结合，旨在提升手术团队的认知效能和临床决策水平。

SurgBox手术沙盒系统

本研究在SurgBox手术沙盒系统中使用了语言大模型（LLMs）和角色知识定制的检索增强生成（RAG）技术来模拟各种手术角色，包括主刀医生、助手医生、器械护士、巡回护士、病房护士和麻醉师等。这种模拟提供了一个无风险的学习环境，让外科医生能够通过刻意练习来提高他们处理复杂信息流和在压力下做出关键决策的能力。我们主要通过以下几个关键方法来解决外科手术中的认知挑战问题：

Figure 1: SurgBox手术沙盒系统模拟了患者的整个手术流程，包括患者交接、麻醉、术前准备、手中操作和术后护理

1.角色扮演策略

角色扮演：SurgBox通过精细设计的Multi-Agent角色来模拟经鼻垂体瘤手术的完整流程。该手术沙盒系统模拟了主刀医生、助手医生、器械护士、巡回护士、病房护士和麻醉师等核心角色，每个角色都配备了专门的大型语言模型和知识库。比如，主刀医生的知识库包含详细的手术技术、解剖信息和并发症处理方案；麻醉师的知识库侧重麻醉药物特性和患者监护方案；护士的知识库则包含器械准备、无菌技术和患者护理等专业内容。

角色互动：SurgBox是一个基于大型语言模型(LLMs)的手术模拟系统，按照术前、术中和术后三个主要阶段设计，涵盖了患者转运、麻醉、手术准备、手术操作和术后护理等关键环节。在这些环节中，这些角色会根据手术阶段和任务进行自然的互动。系统通过事件触发机制和对话连贯性维持来确保各角色之间的互动真实自然。例如，当出现患者状态改变等特定事件时，会触发相关角色的响应和对话。这种基于专业知识库的多角色协同模拟，为手术团队提供了一个接近真实的培训环境。

Figure 2: SurgBox中部分角色示例

2. Surgery Copilot

Surgery Copilot是一个基于AI的智能手术助手系统，通过创新的长短期记忆机制来支持手术团队决策。在经鼻垂体瘤手术中，它与主刀医生、麻醉师和护士等角色密切协作：

系统的短期记忆模块实时追踪手术进程，为团队成员提供及时预警；
长期记忆模块则存储和分析历史手术案例经验，用于术前方案优化和手术风险评估。

通过这种双重记忆机制，Surgery Copilot不仅能够为主刀医生提供基于证据的实时建议，如手术路径调整和出血风险提醒，还能协助麻醉师进行精准的麻醉管理，同时为护士团队提供器械准备和手术配合的指导。系统采用专门的提示工程技术来优化对医学术语和手术流程的理解，通过减轻手术团队的认知负担来提升手术效率。