我们探索和实现了一种基于QLoRA的轻量级的增量预训练和指令微调方案,并使用该方法对Llama2-13B进行中文知识迁移,在公开榜单和人工评测中验证了该方法的有效性。该方法可推广至对Baichuan、Qwen、InternLM、Falcon等模型的垂直域增量预训练与指令微调。
在CMMLU榜单上,我们的模型优于Linly、Yayi、FlagAlpha等,与Ziya、Chinese-Alpaca-Plus及其接近。在🤗Open LLM Leaderboard上,我们的模型与Vicuna、Guanaco、Llama2及其接近。
在中文人工评测中,我们的模型以66.15%胜、30.77%平、3.08%负的成绩大幅领先Llama2,以33.08%胜、60.77%平、6.15负的成绩领先Linly。
上述评测结表明了我们的方法能够在提升Llama2的中文能力的基础上,保留Llama2优秀的英文能力。
本文将对该工作进行介绍,我们也开源了模型权重、训练代码、训练数据等,欢迎大家关注和Star⭐️我们的项目。
增量预训