本文是LLM系列文章,针对《Towards Training A Chinese Large Language Model for Anesthesiology》的翻译。
摘要
医学大语言模型(LLM)由于其显著的实用性,近年来越来越受欢迎。然而,现有的大多数研究都集中在普通医学上,需要在麻醉学等特定领域对LLM进行深入研究。为了填补这一空白,我们引入了Hypnos,这是一种建立在现有LLM基础上的中国麻醉模型,例如Llama。Hypnos的贡献有三个方面:1)从当前LLM中获得的数据,如使用自我指导,可能包括不准确之处。Hypnos采用交叉过滤策略来提高数据质量。该策略包括使用一个LLM来评估从另一个LLM生成的数据的质量,并过滤掉低质量的数据。2) Hypnos采用通用到特定的训练策略,首先使用普通医学数据微调LLM,然后使用专门来自麻醉学的数据改进微调LLM。一般医学数据补充了麻醉学的医学专业知识,增强了Hypnos生成的有效性。3) 我们介绍了一个评估麻醉医学LLM的标准化基准。我们的基准包括来自互联网的公开病例和来自医院的私人病例。Hypnos在指标、GPT-4和基准数据集上的人类评估方面优于麻醉学中的其他医学LLM。
1 引言
2 相关工作
3 HYPNOS
4 实验
5 结论
本文提出了第一个中文麻醉大语言模型:Hypnos。引入了两种有用的策略:1)从现有LLM中获得高质量数据的交叉过滤策略和2)充分利用一般和特定医学数据的一般到特