CollectiveSFT: Scaling Large Language Models for Chinese Medical Benchmark

本文是LLM系列文章，针对《CollectiveSFT: Scaling Large Language Models for Chinese Medical Benchmark with Collective Instructions in Healthcare》的翻译。

摘要

大型语言模型 （LLM） 的快速发展促使创建了许多基准来评估其功能。本研究侧重于中文综合医学基准 （CMB），展示了监督微调 （SFT） 中的数据集多样性和分布如何提高 LLM 表现。值得注意的是，我们成功地训练了一个较小的基础模型，以获得与较大模型相当的分数，这表明无论模型大小如何，多样化且分布良好的数据集都可以优化性能。这项研究表明，即使是更小的模型，通过精心策划和多样化的数据集也可以达到高性能水平。通过整合广泛的指令内容，我们的方法解决了数据质量不一致等潜在问题。我们的结果表明，更广泛的训练数据可能会增强模型在不同医疗场景中进行泛化和有效执行的能力，从而突出了数据集质量和多样性在微调过程中的重要性。

1 引言

2 相关工作

3 集体指令集

4 实验

5 讨论与结论

在本