llama3.1 原模型及中文微调模型使用效果汇报

黑帽子唐哥

已于 2024-08-14 14:55:55 修改

阅读量1k

点赞数 23

文章标签：数据库产品经理 prompt 机器人人工智能语言模型

于 2024-08-14 12:05:23 首次发布

本文链接：https://blog.csdn.net/weixin_59191169/article/details/141187538

版权

前文

llama3.1 强势来袭，我也是第一时间就下载使用了，下面给各位领导汇报一下最新的成果和使用体验感受。下面是官方的性能图，请欣赏开源的强大力量，闭源估计在瑟瑟发抖。

在这里插入图片描述

准备

因为我是第一天就直接使用，在 huggingface llama3.1 上面的模型还没法直接使用，需要提交申请，只有通过之后才能使用，我这里已经过去两天了还没有任何消息，果断放弃了。

现在最方便的是使用 Ollama 框架平台来拉取 llama 3.1 的模型，分别有 8B 、70B、405B ，我这里的硬件只能支撑 8B 。首先你要先保证安装好 Ollama ，如果不会可以看我这个教程，包教包会。然后在命令行使用下面的命令拉取模型。

ollama run llama3.1

如果拉取成功，我们可以通过下面的命令看到本地的模型列表。

ollama list

在这里插入图片描述

然后我们通过命令 ollama ps 查看模型是否已经运行，如果没有运行起来我们使用下面的代码运行模型。

ollama run llama3.1

到此为止原始的 llama3.1-8b 的模型已经运行起来了，显存占 7G 左右，正常情况命令行就可以进行互动交流，让我们看下效果吧。

llama3.1-8B 效果展示

回答的速度相当快，简单的互动都可以完成。

在这里插入图片描述

询问有难度的问题也可以快速响应，效果符合预期。
在这里插入图片描述

llama3.1-8B 缺点

在和业内人士交流的时候发现这个模型对于中文其实还不友好，有时候会出现乱答甚至不答的情况，所以为了能更好支持中文任务，我找到了经过中文微调数据的模型 Llama-3.1-8B 中文 DPO 模型开始部署使用。

准备 Llama-3.1-8B 中文 DPO 模型

其实就是直接去官方页面把所有文件都下载下来就可以了。不得不感叹开源的力量，真的是太大了，时隔一天就能出来微调版本，我相信后面应该还能继续出来效果更好适合中文的模型。

体验 Llama-3.1-8B 中文 DPO 模型

因为之前我自己搭了一个开源的大模型聊天界面，所以我直接就使用自己的这个工具进行聊天，如果想学习的同学可以看我这篇教程。我将自己下载好的模型放到 text-generation-webui\models 目录之下。如果你已经安装好，那么使用下面的命令启动即可：

python .\server.py

启动成功之后，直接访问下面的页面：

http://127.0.0.1:7860

接下来我们还要做一下简单的配置，就是下图所示的几个步骤：

切换到 Model 页面
选择我们自己的模型 llama3.1-8B-Chinese-Instruct-DPO
点击 Load 按钮加载模型
如果显示 Successfully 就说明成功了，成功跑起来大约需要 16G 的显存。

在这里插入图片描述

然后切换到 Chat 页面就可以进行对话了，我直接问的就是比较有难度的业务问题，看起来回答的也比较符合预期。

在这里插入图片描述

总结

开源的力量是越来越强大，Meta 这条路子总算是走对了，未来 LLAMA 成为大模型一个指日可待，干翻闭源模型也指日可待。
其实不管怎么说 8B 的模型大小也就是能随便玩玩，想正式进入商用阶段还得使用 70B 、甚至 405B ，如果真的有一天 8B 的模型能够商用，也就是小模型能在消费级显卡上面支持商用，那真的是人工智能的到来之日。
就在发文的功夫，最强开源的位置易主了，已经是 Mistral Large 2 ，LLAMA3.1 的霸主之位只坐了一天，再次感叹开源力量，太卷了。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！
在这里插入图片描述
💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）
在这里插入图片描述
💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。