【新进展】基于大模型的患者应答系统的评价维度：CRAFT-MD框架-CSDN博客

本文链接：https://blog.csdn.net/m0_59235245/article/details/143193021

医生与患者的对话是诊断医学的核心，它使医生能够获得引导临床决策的关键信息。然而，随着患者数量的增加和咨询时间的缩短，加速了远程医疗的普及，这种传统的互动模式面临着重大挑战。这些因素可能影响病史采集的质量，从而削弱诊断的准确性。大语言模型（LLMs）被视为一种解决方案，它能够参与实时复杂对话，帮助医生更高效地收集完整的病史。然而，目前对这些模型的评估还不够充分，大多依赖于结构化的测试（如选择题），而非评估其在真实对话中的表现。

为了弥补这一差距，作者提出了CRAFT-MD框架，该框架通过模拟患者互动来测试LLMs的临床推理能力，模拟真实医生与患者的对话。CRAFT-MD使用AI代理模拟患者，并在控制环境下对LLMs进行测试，评估其提出相关问题、采集病史和做出准确诊断的能力。这种方法不仅可以快速、规模化地评估LLMs，还可以避免早期与真实患者互动带来的伦理问题。

基于实验结果，作者提出了以下九个维度，用于评估临床基于LLMs的患者应答系统：

	评估维度
1	通过真实的医生-患者对话评估LLMs诊断准确性
2	评估全面的病史采集和信息收集能力
3	测试多次对话中的信息整合能力
4	采用开放式问题评估诊断推理
5	使用AI患者代理进行规模化测试
6	结合自动化和专家评估
7	优化提示策略以提高LLMs性能
8	评估LLMs与医生之间在信息获取方面的差异
9	确保临床场景的多样性并解决数据集记忆问题

1. 通过真实的医生-患者对话评估LLMs诊断准确性

在真实的医疗场景中，医生与患者的对话是动态且复杂的，要求医生能够快速理解、分析和回应患者的各种信息。而传统的静态考试，如多项选择题，无法捕捉到这种复杂性。因此，LLMs应在动态对话中进行测试，以模拟医生在真实世界中与患者互动的复杂对话场景。该指导方针强调，评估LLMs时应摒弃静态测试，转而使用实际的对话情境，来更真实地反映LLMs在处理动态医疗场景中的表现。

2. 评估全面的病史采集和信息收集能力

医疗诊断的关键在于获取全面的病史，这需要医生能够通过对话提问，挖掘出患者的重要信息，如症状、既往病史、药物使用情况等。传统的LLMs评估方式通常忽视了这一点，而更多地依赖于结构化的考试。该指导方针指出，LLMs的评估必须更加注重其在对话中提取患者关键信息的能力，确保它们能够通过互动对话全面获取病史。只有能够通过对话完整提取患者关键信息的LLMs，才能在实际临床场景中发挥作用。

3. 测试多次对话中的信息整合能力

LLMs不仅要能够回应个别问题，还需要能够整合多轮对话中的信息。在复杂的医疗对话中，患者的信息可能是分散的，医生需要通过反复提问和跟进来拼凑完整的病情。该指导方针建议，LLMs在评估时，应测试其在多轮对话中整合、分析和归纳信息的能力，而不仅仅是对每次提问做出孤立的回答。测试的重点在于模型能否处理长时间的对话并从中提取有用信息，从而帮助医生作出更准确的诊断。

4. 采用开放式问题评估诊断推理

大多数LLMs的评估依赖于多项选择题，但这种结构化的问题格式限制了LLMs的诊断推理能力。开放式问题要求模型能够在没有明确选项的情况下独立做出诊断，这更接近真实的医疗场景。在该指导方针下，LLMs的评估应更多地使用开放式问题，要求其独立推理并做出诊断决策。这不仅能更全面地测试模型的推理能力，还能反映模型在现实临床应用中的潜力。

5. 使用AI患者代理进行规模化测试

传统的LLMs评估通常依赖于真人患者或模拟患者，这不仅成本高、耗时长，还存在伦理和安全问题。该指导方针提出，使用AI患者代理来模拟患者与医生的互动，可以显著提高LLMs的评估效率。AI患者代理能够根据设定的病例与LLMs互动，模拟真实的医疗对话场景。通过这种方式，可以实现大规模、快速的LLMs评估，并且能够随时调整测试场景，避免伦理风险。

6. 结合自动化和专家评估

在LLMs的评估中，既需要自动化的快速评估工具，也需要专家的深入审查。自动化系统，如评估AI，可以进行大规模、快速的诊断结果评估，但可能无法捕捉到复杂的临床推理细节。因此，该指导方针建议，结合自动化系统和人工专家评估。自动化工具可进行初步评估，而专家则应针对模型的诊断推理过程进行详细审查，包括是否提出了关键问题、是否适当跟进患者提供的信息等。通过这种结合，可以既保证评估的效率，又保证诊断的准确性和全面性。

7. 优化提示策略以提高LLMs性能

LLMs的表现在很大程度上依赖于提示（Prompt）的设计，尤其是在复杂的医疗场景中，不同的提示策略可能会显著影响模型的理解和推理能力。该指导方针建议，通过实验不同的提示策略来优化LLMs在医疗情境中的表现。例如，使用对话摘要、调整提示格式等方法，能够帮助LLMs更好地聚焦于关键信息，减少噪音信息对模型推理的干扰。针对不同场景和任务，应定期测试和改进提示策略，以确保LLMs在实际应用中发挥最佳效果。

8. 评估LLMs与医生之间在信息获取方面的差异

LLMs与人类医生之间的一个关键区别在于信息获取的方式。医生通过体格检查、视觉评估等方式获得的信息，LLMs无法通过纯文本的对话获得。该指导方针强调，应认识到LLMs与医生在信息信号获取上的差异，并在评估LLMs时充分考虑到这些差异。未来的LLMs评估应探索多模态整合（如语音、图像、体征等），以使模型能够结合多种信息来源进行诊断，补充医生的决策过程，而非试图替代医生。

9. 确保临床场景的多样性并解决数据集记忆问题

目前LLMs的评估通常集中在某一特定领域（如皮肤病学），而实际临床应用的范围非常广泛。该指导方针建议，LLMs的测试应涵盖更广泛的临床场景，如高血压、糖尿病、呼吸系统感染、精神健康等不同疾病。同时，还需解决模型可能通过记忆训练数据集内容而非真正理解病情的问题。为此，评估者应确保测试场景的多样性，并使用全新病例来测试模型的推理能力，避免模型对训练数据的依赖。此外，AI开发者应确保其训练数据的透明性，便于研究者更有效地控制和评估模型的表现。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述