OpenCSG全网首发！llama3.1中文DPO版

前沿科技速递🚀

🎉 震撼发布！OpenCSG全网独家首发llama3.1-8B-instruct中文DPO版！

👏 特别鸣谢社区之星——来自河南工业大学AI系的大三才子来新璐同学，他不仅是B站AIGC领域炙手可热的UP主“飞鸟白菜”，更拥有清华、盛大云、百度等顶尖企业的实习经历，现于香港中文大学（深圳）担任研究助理。在OpenCSG强大算力的加持下，他仅凭8台A100显卡，便以惊人的5分钟完成了模型的训练！

🔍 精心采用DPO(beta 0.5)与LoRA(rank128, alpha256)技术，确保模型性能卓越无损，中文DPO版在问答能力上更是超越市面同类产品，不仅完美保留了原版强大功能，还增添了对趣味中文与emoji表情的独特偏好，让交流更加生动有趣。

🚀 部署流程简便快捷，一切精彩尽在传神社区等你来探索！诚邀您下载试用，一同开启中文AI的无限想象之旅，体验前所未有的智能互动乐趣！

来源：传神社区

01 模型介绍🦙

llama3.1-8B-instruct中文DPO版基于meta最新发布的版本llama3.1进行微调。llama3.1作为最新一代的语言模型，在各项自然语言处理任务中都展现了出色的表现，我们的8B参数中文版本通过微调技术进一步提升了在中文语境下的应用能力。

特点 💡

• llama3.1 8B的基座优势：llama3.1 8B 是从405B上蒸馏得到的，这一过程使得其作为基座模型时，相较于直接通过纯训练获得的Llama3 8B，理论上应具备更优的性能表现。实际应用中的反馈也证实了这一点，用户普遍报告其表现更为稳定且高效。

• 卓越的中文能力：模型在处理中文任务时表现尤其出色，不仅精准地解析复杂的中文语境，还能流畅地生成富有深度的中文语句。

• 有趣的emoji表情：模型在回答问题时，会使用有趣的中文和emoji表情，使互动更加生动有趣。

• 性能卓越：实测结果显示，许多微调模型会导致原版能力的遗忘，但我们的模型在这方面表现优异，确保了强大的原生能力。

• 多样化应用：无论是用于聊天机器人、文本生成、还是其他自然语言处理任务，llama3.1-8B-instruct中文DPO版都能胜任。

02 训练细节🔍

llama3.1中文版模型使用了最先进的微调训练方法和优质的数据集，确保其在各类应用场景中的卓越表现：

• 训练数据：使用了shareAI-DPO中文版本数据集，该数据集包含了丰富的中英文和emoji表情的对话数据，确保模型能够在多种语境下表现出色。

• 实验训练方式：我们采用了LoRA rank128, alpha256，并配合激活"lm_head", "input_layernorm", "post_attention_layernorm", "norm"层参数更新，使训练效果显著优于只使用LoRA的方式。

• DPO beta 0.5：相比于SFT方式动辄几天才能在llama3上训练一个中文版本，使用DPO 方法仅用了5分钟，大大提高了训练效率。

• 算力支持：由OpenCSG社区的赞助支持，使用了8台A100显卡，仅用5分钟便完成了训练。

03 模型部署 🚀

我们提供了简单易用的模型部署方式，方便大家快速上手：

1. 网页脚本文件：在Github仓库中，已经内置了一份web.py，可以直接使用。

2. 安装必要依赖：

bashpip install streamlitpip install transformers==4.40.1

3. 运行模型：

bashstreamlit run web.py ./llama3.1-8b-instruct-dpo-zh

04 模型下载和仓库地址 📥

OpenCSG始终致力于推动中文自然语言处理技术的发展。我们相信，llama3.1-8B-instruct中文DPO版的发布将为广大开发者和研究者提供强有力的支持。本次微调我们不只是开源了权重文件，还把这次训练用的数据集直接开源了出来，方便大家自己训练欢迎大家下载试用，期待你们的反馈！🎉

模型地址：https://opencsg.com/models/shareAI/llama3.1-8b-instruct-dpo-zh

微调数据地址：https://opencsg.com/datasets/AIWizards/DPO-zh-en-emoji

仓库地址：https://github.com/CrazyBoyM/llama3-Chinese-chat​​​​​​​

欢迎加入传神社区

•贡献代码，与我们一同共建更好的OpenCSG

•Github主页

欢迎🌟：https://github.com/OpenCSGs

•Huggingface主页

欢迎下载:https://huggingface.co/opencsg

•加入我们的用户交流群，分享经验

扫描上方二维码添加传神小助手

---

“      关于OpenCSG

开放传神（OpenCSG）成立于2023年，是一家致力于大模型生态社区建设，汇集人工智能行业上下游企业链共同为大模型在垂直行业的应用提供解决方案和工具平台的公司。

关注OpenCSG

加入传神社区