[医疗大模型]Large language models encode clinical knowledge

总体概要

本文介绍了大型语言模型（LLMs）在医学领域的应用潜力，特别是通过MultiMedQA基准测试集评估了Pathways Language Model（PaLM）及其变体Flan-PaLM在医学问题回答任务上的表现。文章指出，尽管Flan-PaLM在多项医学选择题数据集上达到了行业领先水平，但在理解和回答消费者医疗问题方面仍存在局限。为此，研究团队引入了指令提示调整技术，开发了Med-PaLM模型，该模型在人类评估框架下表现出了与临床医生相当的性能。文章强调，虽然LLMs在医学领域展现出巨大潜力，但仍需进一步研究和改进，以确保其在临床应用中的安全性、公平性和有效性。

核心要点

1. MultiMedQA Benchmark:

   • 提出了MultiMedQA，一个综合性的医学问答基准，涵盖了六个现有的医疗问答数据集和一个新创建的数据集HealthSearchQA，该数据集包含了在线搜索的常见健康问题。

2. Flan-PaLM Performance:

   • 使用Flan-PaLM模型，结合多种提示策略，在MultiMedQA的多个选择题数据集上实现了最先进的性能，特别是在MedQA（美国医学执照考试风格问题）上达到了67.6%的准确率，超过了先前的最佳成绩17%以上。

3. Human Evaluation Framework:

   • 引入了一个全面的人类评估框架，用于评估模型回答的多维度表现，包括事实性、理解力、推理能力、潜在危害和偏见等。

4. Instruction Prompt Tuning:

   • 提出了指令提示调优方法，这是一种参数高效的方法，用于将大型语言模型（LLMs）与新领域对齐，通过使用少量样本进行调优。

5. Med-PaLM Model:

   • 应用指令提示调优方法生成了Med-PaLM模型，该模型在人类评估框架下的表现令人鼓舞，尤其在与科学共识的一致性和减少潜在危害方面，与临床医生的回答相当。

6. Model Limitations and Future Directions:

   • 尽管取得了进展，但仍指出了当前模型的局限性，强调了在安全、公平和偏见方面进一步评估和改进的必要性，以使这些模型适用于临床应用。

段落概要

Key contributions

文章的Key contributions部分介绍了几个关键贡献：首先，创建了MultiMedQA基准，包括七个医疗问答数据集，用于评估大型语言模型（LLMs）在医疗领域的应用；其次，通过Flan-PaLM模型在多个医疗问答任务上实现了超越现有技术的性能，特别是在MedQA、MedMCQA、PubMedQA和MMLU临床主题数据集上；第三，引入了指令提示调优技术，通过创建Med-PaLM模型，进一步提高了医疗领域特定任务的性能；最后，通过人类评估框架揭示了LLMs在医疗应用中的潜在限制，强调了在安全、公平和偏见方面进一步改进的必要性。这些贡献不仅推动了医疗问答技术的发展，也为未来研究指明了方向。

Model development and evaluation of performance

文章中“Model development and evaluation of performance”部分的核心要点是：Flan-PaLM 540B模型在多个医学相关的多选题任务上表现卓越，包括在MedQA、MedMCQA和PubMedQA数据集上超越了之前的最佳模型，以及在MMLU数据集的临床相关主题上取得了行业领先的成绩。具体来说，Flan-PaLM 540B在MedQA（四选项）上达到67.6%的准确率，超过了PubMedGPT 17.3%；在MedMCQA上达到57.6%，超过了Galactica模型；在PubMedQA上达到79.0%，略微领先于BioGPT模型。此外，该模型在专业医学和临床知识子集上分别达到了83.8%和80.4%的准确率，展示了大型语言模型在医学领域的巨大潜力。

Ablations

文章中的Ablations部分探讨了Flan-PaLM模型在医学领域多个选择题数据集上的性能，通过一系列的消融研究来理解模型性能的关键因素。研究发现，指令调优显著提升了模型在MedQA、MedMCQA和PubMedQA数据集上的表现，尤其是在PubMedQA数据集上，8B的Flan-PaLM模型相比基线PaLM模型提升了超过30%。此外，模型规模的扩大也带来了性能的显著提升，从8B到540B的模型规模增长至少2倍。在链式思维（COT）提示方面，尽管在某些任务上自一致性提高了多选题性能，但在MedQA和MedMCQA数据集上并未观察到COT提示策略的改进。最后，研究探索了大型语言模型（LLMs）的不确定性和选择性预测能力，发现通过提高模型对自身知识不确定性的信心阈值，可以在MedQA数据集上达到高达82.5%的准确率，表明LLMs在医学领域确实编码了关于其知识的不确定性。这些发现强调了指令调优和模型规模扩大对于提升医学领域问题回答能力的重要性，同时也指出了LLMs在医学应用中需要进一步研究和改进的领域。

Discussion

文章的Discussion部分指出，大型语言模型（LLMs）在回答医学问题方面展现出强大的性能，这可能是模型规模扩大和有效的指令微调共同作用的结果。随着模型从8B参数增长和到540B参数，准确性显著提高，显示出模型规模对医学问题回答能力的积极影响。此外，指令微调也被证明是一种有效的技术，能够提高模型的准确性、事实性、一致性、安全性、潜在伤害和偏见，从而缩小与临床专家的差距。然而，尽管取得了这些进展，模型在多个临床重要指标上仍未达到临床专家的水平，需要进一步研究和开发新的LLM能力，如基于权威医学来源的回答、有效沟通不确定性、多语言响应能力以及更好地适应医疗领域的安全要求。文章还讨论了评估框架的局限性，并提出了改进人类评估和考虑公平性和公平性相关伤害的建议。

Limitations

文章的“Limitations”部分指出了研究中存在的局限性，主要包括：MultiMedQA基准测试虽然多样，但并非全面，未来计划扩展以涵盖更多医学和科学领域；临床环境中从患者处获取信息并综合成评估和计划的任务比多选题回答更为复杂，需要开发反映真实临床工作流程的基准任务；本研究仅考虑了英语语言数据集，需要扩展到多语言评估；尽管Flan-PaLM在多项医学问答基准测试中表现出色，但在许多临床重要方面仍未达到临床专家水平，需要进一步研究和开发新的LLM能力，如基于权威医学来源的回答、有效沟通不确定性的能力、多语言响应能力以及更好地符合医疗领域安全要求等。

Conclusion

文章的结论部分强调了基础模型和大型语言模型（LLMs）在医学人工智能发展中的重要机遇，这些技术有望使医疗AI更加易用、安全和公平。同时，文章也指出了医学领域应用LLMs的复杂性。研究展示了这些技术在医学应用中的潜力和挑战，并期望这项研究能够促进患者、消费者、AI研究者、临床医生、社会科学家、伦理学家、政策制定者等各方之间的进一步对话和合作，以负责任地将这些早期研究成果转化为改善医疗保健的实践。