大模型在临床医疗推理任务上的超常表现 - 哈佛大学等

本文链接：https://blog.csdn.net/m0_59164520/article/details/145213740

摘要

大型语言模型（LLM）在医疗传统任务上的性能是使用多项选择题基准进行评估的。然而，这样的基准受到高度限制，充斥着 LLM 反复令人印象深刻的表现，并且与真实临床场景中的表现关系不明确。临床推理是医生采用批判性思维来收集和综合临床数据以诊断和管理医疗问题的过程，它仍然是模型性能的一个有吸引力的基准。以前的 LLM 在常规和复杂的诊断场景中显示出优于临床医生的前景。我们试图评估 OpenAI 的 o1-preview 模型，该模型是为了在生成响应之前通过思维过程链增加运行时间而开发的模型。我们通过五个实验来表征 o1-preview 的性能，包括鉴别诊断生成、诊断推理显示、分类鉴别诊断、概率推理和管理推理，由具有经过验证的心理测量学的医生专家裁决。我们的主要结果是将 o1-preview 输出与具有历史人类对照和先前 LLM 基准的相同先前实验进行比较。观察到鉴别诊断生成以及诊断和管理推理的质量有显著改善。使用概率推理或分诊鉴别诊断未观察到改善。这项研究强调了 o1-preview 在需要复杂批判性思维的任务（如诊断和管理）上执行强力的能力，而它在概率推理任务上的表现与过去的模型相似。与人类医生相比，需要新的稳健基准和对 LLM 能力的可扩展评估，以及在真实临床环境中评估 AI 的试验。

[2412.10849] Superhuman performance of a large language model on the reasoning tasks of a physician

https://arxiv.org/abs/2412.10849

核心速览

研究背景

研究问题：这篇文章要评估OpenAI的o1-preview模型在医学推理任务上的表现，特别是其在差分诊断生成、诊断推理展示、概率推理和管理推理等方面的表现。
研究难点：现有的多项选择题基准测试无法全面反映临床决策的复杂性和广度，且模型可能在这些测试中表现出“应试者”特性，而非真正的临床推理能力。
相关工作：之前的研究表明，大型语言模型（LLMs）在常规和复杂的诊断基准测试中已经超越了医学生、住院医师和主治医师的表现。OpenAI在2024年9月12日发布了o1-preview模型，该模型在执行运行时链式思维过程，允许模型在生成响应前花费更多时间进行“思考”和“推理”。

研究方法

这篇论文提出了通过一系列实验来评估o1-preview模型在医学推理任务上的表现。具体来说，

差分诊断生成：使用《新英格兰医学杂志》（NEJM）的临床病理会议（CPCs）数据，评估o1-preview在生成差分诊断列表中的表现。差分诊断列表的质量通过Bond评分系统进行评估，评分范围为0到5，5表示完全正确的差分列表，0表示没有接近目标诊断的建议。
诊断推理展示：使用NEJM Healer诊断案例，评估o1-preview在展示临床推理过程中的表现。使用修正的IDEA（R-IDEA）评分系统，评分范围为0到10，10表示完美的临床推理文档。
管理推理：使用Grey Matters管理案例，评估o1-preview在管理决策中的表现。每个案例后面跟着一系列关于下一步管理的问题，评分范围为0到100。
概率推理：使用五个初级保健主题的案例，评估o1-preview在估计前后测试概率中的表现。使用绝对误差平均值（MAE）和平均绝对百分比误差（MAPE）作为评估指标。

实验设计

数据收集：从NEJM的CPCs中选择了2021年至2024年间的143个诊断案例，其中70个案例在之前的研究中使用过GPT-4进行评估。使用NEJM Healer诊断案例和Grey Matters管理案例，这些案例由25位医师专家开发和评分。
实验设计：设计了多个实验来评估o1-preview在不同医学推理任务上的表现。每个实验都包括人类专家对LLMs输出的评分，并使用统计方法来评估模型的性能。
样本选择：每个实验的样本选择基于具体任务的复杂性，确保评估的全面性和代表性。
参数配置：o1-preview模型通过OpenAI的API访问，使用默认的温度参数1进行推理。

结果与分析

差分诊断生成：o1-preview在143个案例中有78.3%的案例正确包含了目标诊断，首次建议的诊断在52%的案例中是正确的。与之前的GPT-4评估相比，o1-preview在70个案例中有88.6%的案例提供了完全或非常接近的诊断，而GPT-4为72.9%。
诊断推理展示：在20个NEJM Healer案例中，o1-preview在78个案例中获得了完美的R-IDEA评分，显著优于GPT-4（47个案例）、主治医师（28个案例）和住院医师（16个案例）。
管理推理：在五个Grey Matters管理案例中，o1-preview的平均得分为86%，显著高于GPT-4（42%）、主治医师（41%）和传统资源（34%）。
概率推理：在五个初级保健主题的案例中，o1-preview在大多数情况下与GPT-4的表现相似，但在冠状动脉疾病的压力测试中，o1-preview的密度更接近参考范围。

总体结论

o1-preview在差分诊断生成、诊断推理展示和管理推理方面表现出色，显著优于之前的模型和人类医师。然而，在概率推理任务中，o1-preview的表现与GPT-4相似。这项研究表明，LLMs在医学推理任务中具有巨大的潜力，但仍需进一步研究和评估这些技术在真实临床环境中的应用。需要开发新的基准测试和可扩展的评估工具，以更好地理解和改进LLMs在临床决策支持中的表现。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述