AI与药学 | AI大模型在用药处方审核的应用：一项跨 12 个临床专科的前瞻性研究

本文解读一篇大模型用于用药处方审核场景的文献，旨在探索AI大模型在处方审核和处方点评的研究潜力和巨大应用需求。

文献: Development and Testing of a Novel Large Language Model-Based Clinical Decision Support Systems for Medication Safety in 12 Clinical Specialties

研究背景与意义

药物错误是全球医疗领域面临的严峻挑战，尤其在急性护理环境中，其导致的住院时间延长、发病率、死亡率增加以及医疗成本上升已成为不容忽视的公共卫生问题。临床决策支持系统 (CDSS) 作为减少药物错误的重要工具，在与电子健康记录和计算机化医嘱录入系统集成后，已在特定类型的处方错误 (如药物相互作用) 中展现出一定的有效性。然而，目前广泛应用的 CDSS 多为基于规则的系统，存在产生大量临床无关警报、导致“警报疲劳”等问题，限制了其有效性和应用。近年来，大型语言模型 (LLM) 在医疗任务中展现出日益强大的能力，本研究旨在探索基于 LLM 的 CDSS 在药物安全领域的应用，特别是其在不同临床专科中识别药物相关问题 (DRP) 的性能，并与人类专家小组进行比较，具有重要的理论和实践意义。

研究设计与方法

本研究遵循 STARD 诊断准确性报告标准，采用前瞻性研究设计。研究团队基于 23 个复杂临床病例，构建了 61 个模拟处方错误场景，涵盖 12 个不同的医疗和外科专科 (包括心脏病学、内分泌学、普通医学、眼科学、胃肠病学、普通外科、泌尿外科、血管外科、传染病、呼吸医学、肿瘤学、结直肠外科)。这些场景均改编自当地机构的药房干预和错误报告数据库，确保了研究的真实性和临床相关性。

研究的核心在于开发并测试了一种基于检索增强生成 (RAG) 技术的 LLM 临床决策支持系统 (RAG-LLM CDSS)。研究团队以 GPT-4.0 为基础模型，构建了两个版本的 RAG-LLM 工具，分别代表了 RAG 系统的简单 (版本 1) 和复杂 (版本 2) 设计，并对比了它们在自主模式和协同模式 (与初级药剂师合作) 下的性能。

主要方法包括：

1. 处方错误场景开发: 依据真实临床病例，模拟包含多种合并症和复杂问题列表的患者情况，并设计 61 个不同的处方错误场景。

2. 参考标准建立: 由多学科专家小组 (包括药物治疗委员会认证的药剂师和具有超过 10 年临床实践经验的医生) 手动评估每个场景中的 DRP 类别 (基于 PCNE 分类 V9.1 和 ASHP 药物治疗声明) 和严重性 (基于 HAMEC 工具)。

3. RAG-LLM CDSS 开发: 使用 RAG 技术结合 GPT-4.0 模型，构建两个版本的 LLM 工具 (版本 1 使用 Pinecone 进行向量存储，OpenAI 的 text-embedding-ada-002 进行嵌入；版本 2 集成 LlamaIndex RAG 框架，采用自动合并检索和手动药物名称索引，使用 HuggingFace 的 bge-small-en-v1.5 嵌入模型)。

4. 知识库构建: 使用机构的药物使用和剂量指南、药物单作为信息来源，并将其分为四个部分：不良药物反应、注意事项和禁忌症；ATC 类别和作用机制；药物相互作用；药物剂量和调整。

5. 提示工程: 设计通用的自然语言提示模板，并测试了动态少样本学习、链式思维提示和自生成链式思维提示等策略。

6. 性能评估: 使用准确性、精确度、召回率和 F1 分数评估 RAG-LLM CDSS (包括 GPT-4、Gemini Pro 1.0 和 Med-PaLM 2) 在自主模式和协同模式下识别 DRP 的性能，并与人类专家小组的评估结果进行比较。

研究结果

• 案例复杂性和 DRP 类型: 专家小组评估结果显示，29.5% 的错误场景可能导致严重伤害，50.8% 可能导致中度伤害，19.2% 可能导致轻微或无伤害。常见的 DRP 类型包括：不适当的剂量方案 (需要调整剂量、频率或持续时间)；不良药物反应 (包括根据患者情况禁忌的药物，需要更改药物或使用逆转剂)；显著药物相互作用 (需要更改药物或进行治疗药物监测)。

• GPT-4 与 RAG-LLM 性能比较: GPT-4 在所有指标 (准确性、召回率和 F1 分数) 上得分最低。RAG-LLM 版本 2 在准确性和召回率方面表现最佳，但由于生成了大量误报，精确度显著下降。RAG-LLM 版本 1 在准确性和最低警报负担 (误报率) 之间取得了最佳平衡。

• RAG-LLM 与协同模式性能比较: 协同模式 (RAG-LLM + 初级药剂师) 展现出最高的准确性，与单独使用 RAG-LLM 相比，其 DRP 识别的相对准确性提高了一倍 (54.1% vs 31.1%)。在精确度、召回率和 F1 分数方面，协同模式也表现最佳。在 DRP 类别方面，协同模式在大多数类别 (如不良药物反应、药物相互作用、治疗重复、不适当的治疗选择和药物治疗遗漏) 中准确性有所提高，但在不适当的剂量方案和无指征类别中性能有所下降。

• 不同 LLM 的 RAG-LLM 性能比较: 基于 GPT-4 的 RAG 模型在准确性、召回率和整体 F1 分数方面优于基于 Gemini Pro 和 Med-PaLM 2 的 RAG 模型，而 Med-PaLM 2 基于 RAG 模型在精确度方面表现更好。

研究结论

本研究表明，基于 RAG 的 LLM CDSS，特别是在与初级药剂师合作的协同模式下，能够显著提高药物错误识别的准确性，尤其是在检测严重 DRP 方面。研究结果支持将 LLM 整合到医疗实践中，以提高患者安全和护理质量。

“赛文AI药学”认为：

本研究是一项在 LLM 驱动的 CDSS 用于药物安全领域的前瞻性、创新性研究。其主要贡献在于：

1. 验证了 RAG 技术在增强 LLM 临床应用中的有效性: 通过对比 GPT-4 和 RAG-LLM 的性能，证明了 RAG 技术能够有效利用外部知识库，提升 LLM 在特定医疗任务中的表现，特别是提高了 DRP 识别的准确性和召回率。

2. 强调了人机协同模式在复杂临床任务中的优势: 研究结果清晰地表明，在识别 DRP 这类复杂的临床任务中，协同模式显著优于单独依赖 LLM 的自主模式，提示未来 CDSS 的发展应更多地考虑人机交互和协作。

3. 探索了不同 LLM 在药物安全领域的适用性: 通过对比 GPT-4、Gemini Pro 1.0 和 Med-PaLM 2 的性能，为未来选择和优化 LLM 提供了参考。

然而，本研究也存在一定的局限性：

1. 样本量相对较小: 61 个模拟场景和 23 个临床病例的样本量相对较小，可能限制了研究结果的普适性。

2. DRP 类别覆盖不全: 研究主要关注了几种常见的 DRP 类型，未来需要进一步扩展到更广泛的 DRP 类别。

3. 知识库的局限性: 研究使用的知识库来源于本地机构，可能不完全适用于其他医疗机构或实践环境。

4. 缺乏与现有 CDSS 的对比: 研究未与目前广泛使用的基于规则的 CDSS 进行对比，无法直接评估 RAG-LLM CDSS 的相对优势。

趋势：

尽管存在上述局限性，本研究仍然为 LLM 在药物安全领域的应用提供了重要的证据支持和方向指引。我认为，未来基于 LLM 的 CDSS 的发展应关注以下几个方面：

1. 构建更全面、更权威、更动态更新的医学知识库: 知识库的质量直接影响 LLM 的性能，应积极探索利用多源异构医学数据 (包括临床指南、文献数据库、电子病历等) 构建知识库的方法，并实现知识库的动态更新。

2. 优化人机交互模式，实现人机协同的最大化: 需要深入研究临床医生的工作流程和信息需求，设计更符合临床实践的人机交互界面，并探索有效的人机协作机制。

3. 加强模型的可解释性和透明度: 提高 LLM 的可解释性和透明度，增强临床医生对 AI 辅助决策的信任。

4. 进行更严格、更大规模的临床验证: 需要在真实临床环境中进行更大规模、更长时间的临床试验，全面评估 LLM-CDSS 的有效性、安全性、经济性和实用性。

5. 重视伦理和法律问题: 在开发和应用 LLM-CDSS 的过程中，需要充分考虑数据隐私、算法偏见、责任归属等伦理和法律问题，确保 AI 技术的负责任应用。

总之，LLM 在药物安全领域展现出巨大的应用潜力，但其发展和应用仍处于早期阶段，需要医学界、人工智能领域和相关政策制定部门的共同努力，推动其安全、有效地应用于临床实践，最终造福广大患者。

欢迎关注“赛文AI药学”公众号！

赛文AI药学，致力于探索人工智能在药学场景中的创新与应用，聚焦药师的AI赋能与专业素养提升。我们提供前沿的AI技术动态、实用的药学场景案例分享以及个性化学习资源，助力药师在智能化时代实现价值跃升。