BioMistral-7B: 医学领域开源预训练大型语言模型的使用指南-CSDN博客

本文链接：https://blog.csdn.net/gitblog_02246/article/details/144422856

BioMistral-7B: 医学领域开源预训练大型语言模型的使用指南

BioMistral-7B 项目地址: https://gitcode.com/mirrors/BioMistral/BioMistral-7B

摘要

近年来，大型语言模型（LLMs）在各个领域展现出卓越的通用性，特别是在医疗保健和医学等专门领域。尽管市面上已经有针对医疗场景的各种开源LLMs，但将通用型LLMs应用于医学领域仍然面临着重大挑战。本文将介绍BioMistral，一个专为生物医学领域设计的开源LLM，它基于Mistral模型，并在PubMed Central上进一步预训练。我们将对BioMistral进行全面的评估，涉及10个已建立的英语医学问答（QA）任务基准。我们还将探索通过量化和模型合并方法获得的轻量级模型。结果表明，与现有开源医学模型相比，BioMistral具有优越的性能，并且在私有模型中也具有竞争力。最后，为了解决除英语之外的数据有限的问题，并评估医学LLMs的多语言泛化能力，我们将这个基准自动翻译并评估到其他7种语言。这标志着医学领域LLMs的首次大规模多语言评估。在实验过程中获得的datasets、多语言评估基准、scripts以及所有模型均已公开发布。

注意：尽管BioMistral旨在封装源自高质量证据的医学知识，但它尚未针对在专业参数下有效地、安全地或适当地传达这些知识进行调整。我们建议，除非BioMistral经过与特定用例的全面对齐并在现实世界的医疗环境中进行进一步测试，尤其是包括随机对照试验，否则不要在医疗环境中使用它。BioMistral 7B可能存在尚未被充分评估的内在风险和偏见。此外，该模型在现实世界的临床环境中的性能尚未得到评估。因此，我们建议仅将BioMistral 7B用作研究工具，并建议不要在生产环境中将其用于自然语言生成或任何专业的健康和医疗目的。

BioMistral模型

BioMistral是一系列基于Mistral的开源预训练模型，专为医学领域设计，并使用来自PubMed Central Open Access（CC0、CC BY、CC BY-SA和CC BY-ND）的文本数据进行进一步预训练。所有模型都使用法国国家科学研究中心（CNRS）的Jean Zay法国高性能计算（HPC）进行训练。

模型列表

量化模型

为了提高模型在资源受限环境下的适用性，我们提供了量化模型，这些模型在保持较高性能的同时，显著减少了模型大小和计算需求。

| 基础模型 | 方法 | q_group_size | w_bit | 版本 | VRAM GB | 时间 | 下载 | |:---------:|:---------:|:---------:|:---------:|:---------:|:---------:|:---------:|:---------:| | BioMistral-7B | FP16/BF16 | | | | 15.02 | x1.00 | HuggingFace | | BioMistral-7B | AWQ | 128 | 4 | GEMM | 4.68 | x1.41 | HuggingFace | | BioMistral-7B | AWQ | 128 | 4 | GEMV | 4.68 | x10.30 | HuggingFace | | BioMistral-7B-DARE | AWQ | 128 | 4 | GEMM | 4.68 | x1.41 | HuggingFace | | BioMistral-7B-TIES | AWQ | 128 | 4 | GEMM | 4.68 | x1.41 | HuggingFace | | BioMistral-7B-SLERP | AWQ | 128 | 4 | GEMM | 4.68 | x1.41 | HuggingFace |

使用BioMistral

您可以使用Hugging Face的Transformers库来使用BioMistral。以下是加载模型和分词器的示例代码：

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")