MedExpQA: Multilingual Benchmarking of Large Language Models for Medical Question Answering

本文是LLM系列文章，针对《MedExpQA: Multilingual Benchmarking of Large Language Models for Medical Question Answering》的翻译。

摘要

大型语言模型（LLMs）有可能促进人工智能技术的发展，以协助医学专家提供交互式决策支持。LLM在医学问答方面取得的最先进的成绩证明了这一潜力，取得了令人瞩目的成绩，例如在执照医学考试中取得了及格成绩。然而，尽管令人印象深刻，但医疗应用所需的质量标准仍远未达到。目前，LLM仍然受到过时知识和产生幻觉内容倾向的挑战。此外，大多数评估医学知识的基准缺乏参考金解释，这意味着无法评估LLM预测的推理。最后，如果我们考虑对英语以外的语言进行LLM基准测试，情况尤其严峻，据我们所知，英语仍然是一个完全被忽视的话题。为了解决这些缺点，本文提出了MedExpQA，这是第一个基于医学考试的多语言基准，用于评估医学问答中的LLM。据我们所知，MedExpQA首次包含了由医生撰写的关于考试中正确和不正确选项的黄金参考解释。使用黄金参考解释和检索增强生成（RAG）方法进行的全面多语言实验表明，LLM的性能仍有很大的改进空间，英语的最佳结果约为75分，特别是对于英语以外的语言，其准确率下降了10分。因此，尽管使用了最先进的RAG方法，但我们的研究结果也表明，获取和整合现成的医学知识很困难，这些知识可能会对医疗问答的下游评估结果产生积极影响。数据、代码和微调模型将公开。