在《Nature Medicine》期刊上发表的文章《Outpatient reception via collaboration between nurses and a large language model: a randomized controlled trial》中,研究了旨在通过一项随机对照试验,探讨护士和大型语言模型在门诊接待中的合作方式。
大型语言模型是一种基于人工智能技术的工具,能够与护士协作完成初步问诊和提供医学知识咨询。研究将评估护士和大型语言模型协作组与传统护士接待组在诊断准确性、治疗方案制定和患者满意度等方面的差异。研究结果将为评估护士与大型语言模型协作在门诊接待中的可行性和效果提供参考依据。
01 引言
文章强调了门诊接待的重要性以及当前存在的问题。为了解决这些问题,研究团队提出了一种创新的解决方案:利用大型语言模型(LLM)辅助门诊接待。文章还指出了护士与患者沟通的重要性,并提出了护士在工作负担和时间限制下难以提供高质量回应的难题。通过引入LLM,可以减轻护士的负担,提高沟通效率和质量。
在介绍研究团队的工作成果时,包括护士与患者对话语料库的收集、基于真实对话的聊天机器人的开发,以及计算机模拟和随机对照实验。
引言最后明确了该研究的目标,即通过随机对照试验评估护士与聊天机器人协作模型的有效性,并探讨其在实际应用中的优势和局限性。这些工作为后续研究提供了坚实的基础。
02 SSPEC架构
1. SSPEC模型基础:
- SSPEC(Site-Specific Prompt Engineering Chatbot)模型是基于大型语言模型(LLM)GPT-3.5构建的。
- 使用了80%的收集到的对话数据作为训练集,通过自动化精细调整方法优化模型的基本能力。
2. 站点特定知识整合:
- 在模型训练过程中,结合了站点特定的知识,通过提示模板的方式将知识融入模型中。
- 这些知识是基于每个门诊接待点的实际案例进行手动整理和编译的,涵盖了580条不同的信息。
3. 模型交互方式:
- 在实际应用中,患者与SSPEC模型的交互是通过音频-文本-音频的方式进行的。
- 患者通过麦克风说话,音频被自动转换为文本并输入到SSPEC模型中,模型生成的响应再被自动转换为音频传达给患者。
4. 响应质量监控:
- 模型的响应会经过一个评估流程,在事实性、完整性、可读性、同理心、安全性和满意度六个维度上进行评分。
- 如果模型的响应在任何评估方法中低于设定的阈值,则会触发警报,护士会收到通知并审核修改模型生成的响应。
5. 模型优化与迭代:
- 模型在迭代过程中会根据护士的反馈和评估结果进行不断的优化。
- 通过这种持续的学习和改进,SSPEC模型能够更准确地理解患者的问题并提供合适的回答。
模型架构示意图1
护士与患者的沟通结构示意图
涉及警报的护士-SSPEC 协作模型结构示意图
03 研究结果
该随机对照试验的结果显示,SSPEC(Site-Specific Prompt Engineering Chatbot)在门诊接待中表现出色,不仅提高了效率,还在多个方面超越了人类护士的表现。以下是对研究结果的详细概述,包含具体的研究数据:
1. 查询解决效率:
- SSPEC在更少的问答轮次中解决了患者查询。具体而言,68.0%的患者查询在两轮问答内得到解决,相比之下,护士主导的会话中这一比例仅为50.5%(P = 0.009)。这表明SSPEC在快速响应患者需求方面表现更优。
2. 患者满意度:
- 患者对SSPEC协作组的满意度显著高于护士组。在SSPEC协作组中,患者满意度评分平均为3.91(标准差为0.90),而护士组为3.39(标准差为1.15),差异具有统计学意义(P < 0.001)。
- 此外,65.6%的患者在临床试验中报告对SSPEC协作服务感到“满意”或“非常满意”。
3. 护士反馈:
- 在参与试验的20名护士中,19名认为SSPEC减轻了他们的工作量,18名认为SSPEC缓解了他们的压力,19名表示更喜欢与SSPEC协作的工作模式。
4. 多维度评价:
- 在事实性、完整性、可读性、同理心、安全性和满意度六个维度上,SSPEC协作组的表现与护士组相比,均表现出相似或更优的结果。特别是在同理心方面,SSPEC超越了人类护士的表现,同时保持了其他方面的性能。
5. 安全风险评估:
- SSPEC在回应中涉及高风险内容的情况非常罕见,仅占5.9%(416/7,084),与护士组的6.3%(443/7,084)相比无显著差异(P值未具体给出,但图示表明差异不大)。
6. 消融研究:
- 为了评估微调(fine-tuning)和站点特定知识对SSPEC性能的影响,进行了消融研究。结果显示,与完整的SSPEC模型相比,消融模型和现成的GPT-3.5模型在不同维度上的性能均有所下降。
- 特别是在事实性、安全性、可读性和满意度方面,SSPEC的表现显著优于消融模型和GPT-3.5模型。
7. SSPEC与护士协作模型的优势:
- SSPEC与护士协作的模型提高了门诊接待的效率,同时增强了患者的同理心支持。
- 该模型通过SSPEC处理大部分患者查询,仅在必要时由护士进行审查和修改,从而减轻了护士的工作量并提高了他们的满意度。
综上所述,该研究结果表明,SSPEC在门诊接待中是一种有效的辅助工具,能够提高查询解决效率、患者满意度和护士的工作效率。同时,SSPEC还展现出了在同理心支持方面的优势,为未来的门诊接待服务提供了新的可能性。
研究结果1
研究结果2
04 研究意义
1. 提高门诊接待效率:
- 研究结果显示,SSPEC能够更快速地解决患者查询,68.0%的患者问题可以在两轮对话内解决,相比之下,护士主导的对话中这一比例仅为50.5%。这表明SSPEC模型能够显著提高门诊接待的效率。
2. 减轻护士工作负担:
- 参与试验的20名护士中,有19名认为SSPEC减少了他们的工作量,18名认为SSPEC减轻了他们的压力,19名表示更喜欢与SSPEC协作的工作模式。这表明SSPEC模型在实际应用中能够为护士提供有力的支持,减轻他们的工作负担。
3. 提升医疗服务的情感支持:
- 研究发现,SSPEC在提供情感支持方面超越了人类护士的表现。SSPEC能够一致地展示礼貌和尊重,即使在高需求场景中也能保持较高的同理心评分,这有助于创造一个尊重和平静的对话环境。
4. 促进医疗知识的有效应用:
- SSPEC通过精细的调优和特定站点知识的融入,显著提升了其在事实准确性、完整性、可读性、安全性、满意度和同理心等维度上的表现。与基于专家手册构建的聊天机器人(EPEC)相比,SSPEC在事实准确性和完整性方面表现出色,这凸显了从真实对话数据中提炼知识的重要性。
5. 推动医疗智能化发展:
- SSPEC模型的成功应用为医疗智能化发展提供了新的思路。通过结合大型语言模型和特定领域知识,可以构建出高效、智能的医疗辅助系统,进一步提升医疗服务的质量和效率。
最后分享
AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。
学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。
这里给大家精心整理了一份
全面的AI大模型学习资源
,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享
!
1. 成长路线图&学习规划
要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。
这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
2. 大模型经典PDF书籍
书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。(书籍含电子版PDF)
3. 大模型视频教程
对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识。
4. 2024行业报告
行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。
5. 大模型项目实战
学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。
6. 大模型面试题
面试不仅是技术的较量,更需要充分的准备。
在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。
全套的AI大模型学习资源已经整理打包,有需要的小伙伴可以
微信扫描下方CSDN官方认证二维码
,免费领取【保证100%免费
】