PMC-LLaMA: Towards Building Open-source Language Models for Medicine

本文是LLM系列文章，针对《PMC-LLaMA: Towards Building Open-source Language Models for Medicine》的翻译。

摘要

最近，大型语言模型（LLM）在自然语言理解方面展示了非凡的能力。尽管这些模型在日常对话和问答中表现出了熟练程度，但由于缺乏特定领域的知识，它们在需要精确性的领域（如医学应用）中经常会遇到困难。在本文中，我们描述了构建一个专门为医学应用程序设计的强大的开源语言模型的过程，称为PMC LLaMA。我们的贡献有三方面：（i）我们系统地研究了将通用基础语言模型适应医学领域的过程，这包括通过整合480万篇生物医学学术论文和3万本医学教科书，以数据为中心的知识注入，以及与特定领域指令相一致的全面微调；（ii）我们为指令调整提供了一个大规模、全面的数据集。该数据集包括医学问答（QA）、推理原理和对话，共包括202M个token；（iii）我们进行了彻底的消融研究，以证明每个提议组件的有效性。在评估各种公共医疗问答基准时，我们的轻量级PMCLLaMA仅包含130亿个参数，表现出卓越的性能，甚至超过了ChatGPT。所有模型、代码和数据集都可以在https://github.com/chaoyi-wu/PMC-LLaMA找到.

引言

相关工作

问题定义

数据集构造