A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine

本文是LLM系列文章，针对《A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine》的翻译。

摘要

自 ChatGPT 和 GPT-4 发布以来，大型语言模型 （LLM） 和多模态大型语言模型 （MLLM） 因其在理解、推理和生成方面强大而通用的能力而受到广泛关注，从而为人工智能与医学的整合提供了新的范式。本综述全面概述了 LLM 和 MLLM 的发展背景和原则，并探讨了它们在医学中的应用场景、挑战和未来方向。具体来说，这项调查首先关注范式转变，追溯从传统模型到 LLM 和 MLLM 的演变，总结模型结构以提供详细的基础知识。随后，该调查详细介绍了从构建和评估到使用 LLM 和 MLLM 的整个过程，逻辑清晰。在此之后，为了强调 LLM 和 MLLM 在医疗保健中的重要价值，我们调查并总结了 6 个有前途的医疗保健应用。最后，该调查讨论了医学 LLM 和 MLLM 面临的挑战，并为随后人工智能与医学的整合提出了可行的方法和方向。因此，本调查旨在从 LLM 和 MLLM 的背景、原则和临床应用的角度为研究人员提供有价值且全面的参考指南。

1 引言

2 LLM 和