基于Llama 3搭建中文版（Llama3-Chinese-Chat）大模型对话聊天机器人

老牛同学

已于 2024-06-02 13:31:28 修改

阅读量8.5k

点赞数 13

分类专栏： AI 专业技术文章标签： llama 机器人人工智能 ai Ollama

于 2024-05-21 21:21:12 首次发布

转载请注明原文链接：https://ntopic.cn

本文链接：https://blog.csdn.net/obullxl/article/details/139102576

版权

前面两篇博文，我们分别在个人笔记本电脑部署了Llama 3 8B参数大模型，并使用Ollama搭建了基于 Web 可视化对话聊天机器人，可以在自己电脑上愉快的与Llama大模型 Web 机器人对话聊天了。但在使用过程中，笔者发现Llama大模型经常出现中文问题英文回答的问题，需要使用中文回答等提示词告诉大模型用中文回答，体验还不是最好的。今天，本博文就来解决这个问题，让我们有个中文版的Llama 3Web 对话机器人（Llama3-Chinese-Chat）……

第一篇Llama 3 8B大模型部署和 Python 版对话机器人博文：玩转 AI，笔记本电脑安装属于自己的 Llama 3 8B 大模型和对话客户端

第二篇基于Ollama部署Llama 3 8B大模型 Web 版本对话机器人博文：一文彻底整明白，基于 Ollama 工具的 LLM 大语言模型 Web 可视化对话机器人部署指南

注意： 因为本博文介绍的是Llama 3 中文版（Llama3-Chinese-Chat）对话机器人，涉及到前面两篇博文内容，特别是第二篇 Web 版本对话机器人部署，因此建议按照前文博文部署好Llama 3 8B大语言模型。

HF 上选择排名最高的模型

模型列表官网地址：https://huggingface.co/models

模型列表国内镜像（推荐）：https://hf-mirror.com/models

在模型列表页面按照关键字llama chinese搜索，并按照趋势排序，可以看到中文版模型：

模型列表

可以看出，第一名模型的下载数量和点赞数量，比第二名要多好多，我们就选择shenzhi-wang这位作者发布的模型。

方式一：通过 GGUF 量化模型安装（推荐）

GGUF 安装比较简单，下载单个文件即可：

量化模型

下载到本地之后，按照我的第一篇博文，即可进行控制台聊天了：

启动大模型Shell 脚本：

source ./venv/bin/activate

python -m llama_cpp.server --host 0.0.0.0 --model \
   ./Llama3-8B-Chinese-Chat-q4_0-v2_1.gguf

最低0.47元/天解锁文章