超级会员免费看
本文介绍了基于QLoRA的轻量级增量预训练和指令微调方法，用于提升Llama2在中文任务上的性能。通过中文词表扩充、增量预训练和指令微调，模型在CMMLU和Open LLM Leaderboard上展现出竞争力，同时在人工评测中表现出色。开源项目包含了训练权重、代码和数据。
我们探索和实现了一种基于QLoRA的轻量级的增量预训练和指令微调方案，并使用该方法对Llama2-13B进行中文知识迁移，在公开榜单和人工评测中验证了该方法的有效性。该方法可推广至对Baichuan、Qwen、InternLM、Falcon等模型的垂直域增量预训练与指令微调。
在CMMLU榜单上，我们的模型优于Linly、Yayi、FlagAlpha等，与Ziya、Chinese-Alpaca-Plus及其接近。在🤗Open LLM Leaderboard上，我们的模型与Vicuna、Guanaco、Llama2及其接近。
在中文人工评测中，我们的模型以66.15%胜、30.77%平、3.08%负的成绩大幅领先Llama2，以33.08%胜、60.77%平、6.15负的成绩领先Linly。
上述评测结表明了我们的方法能够在提升Llama2的中文能力的基础上，保留Llama2优秀的英文能力。
本文将对该工作进行介绍，我们也开源了模型权重、训练代码、训练数据等，欢迎大家关注和Star⭐️我们的项目。
增量预训
订阅专栏 解锁全文
970
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
