基于Llama 3搭建中文版（Llama3-Chinese-Chat）大模型对话聊天机器人_llama3-8b-chinese-chat

于 2024-08-04 08:00:00 发布
阅读量3 收藏
点赞数
文章标签： llama 机器人 AIGC
原文链接：https://blog.csdn.net/obullxl/article/details/139102576?spm=1001.2100.3001.7377&utm_medium=distribute.pc_feed_blog_category.none-task-blog-classify_tag-1-139102576-null-null.nonecase&depth_1-utm_source=distribute.pc_feed_blog_category.none-task-blog-class
版权

前面两篇博文，我们分别在个人笔记本电脑部署了Llama 3 8B参数大模型，并使用Ollama搭建了基于 Web 可视化对话聊天机器人，可以在自己电脑上愉快的与Llama大模型 Web 机器人对话聊天了。但在使用过程中，笔者发现Llama大模型经常出现中文问题英文回答的问题，需要使用中文回答等提示词告诉大模型用中文回答，体验还不是最好的。今天，本博文就来解决这个问题，让我们有个中文版的Llama 3Web 对话机器人（Llama3-Chinese-Chat）……

第一篇Llama 3 8B大模型部署和 Python 版对话机器人博文：玩转 AI，笔记本电脑安装属于自己的 Llama 3 8B 大模型和对话客户端

第二篇基于Ollama部署Llama 3 8B大模型 Web 版本对话机器人博文：一文彻底整明白，基于 Ollama 工具的 LLM 大语言模型 Web 可视化对话机器人部署指南

注意： 因为本博文介绍的是Llama 3 中文版（Llama3-Chinese-Chat）对话机器人，涉及到前面两篇博文内容，特别是第二篇 Web 版本对话机器人部署，因此建议按照前文博文部署好Llama 3 8B大语言模型。

HF 上选择排名最高的模型

模型列表官网地址：https://huggingface.co/models

模型列表国内镜像（推荐）：https://hf-mirror.com/models

在模型列表页面按照关键字llama chinese搜索，并按照趋势排序，可以看到中文版模型：

模型列表

可以看出，第一名模型的下载数量和点赞数量，比第二名要多好多，我们就选择shenzhi-wang这位作者发布的模型。

方式一：通过 GGUF 量化模型安装（推荐）

GGUF 安装比较简单，下载单个文件即可：

量化模型

下载到本地之后，按照我的第一篇博文，即可进行控制台聊天了：

启动大模型Shell 脚本：

source ./venv/bin/activate

python -m llama_cpp.server –host 0.0.0.0 –model </span>
./Llama3-8B-Chinese-Chat-q4_0-v2_1.gguf </span>
–n_ctx 20480

  • 1
  • 2
  • 3
  • 4
  • 5

Python 对话客户端代码：

from openai import OpenAI

# 注意服务端端口，因为是本地，所以不需要api_key
ip = ‘127.0.0.1’
#ip = ‘192.168.1.37’
client = OpenAI(base_url=“http://{}:8000/v1”.format(ip),
api_key=“not-needed”)

# 对话历史：设定系统角色是一个只能助理，同时提交“自我介绍”问题
history = [
{ “role”: “system”, “content”: “你是一个智能助理，你的回答总是容易理解的、正确的、有用的和内容非常精简.”},
]

# 首次自我介绍完毕，接下来是等代码我们的提示
while True:
completion = client.chat.completions.create(
model=“local-model”,
messages=history,
temperature=0.7,
stream=True,
)

new_message <span class="token operator">=</span> <span class="token punctuation">{<!-- --></span><span class="token string">"role"</span><span class="token punctuation">:</span> <span class="token string">"assistant"</span><span class="token punctuation">,</span> <span class="token string">"content"</span><span class="token punctuation">:</span> <span class="token string">""</span><span class="token punctuation">}</span>

<span class="token keyword">for</span> chunk <span class="token keyword">in</span> completion<span class="token punctuation">:</span>
    <span class="token keyword">if</span> chunk<span class="token punctuation">.</span>choices<span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span><span class="token punctuation">.</span>delta<span class="token punctuation">.</span>content<span class="token punctuation">:</span>
        <span class="token keyword">print</span><span class="token punctuation">(</span>chunk<span class="token punctuation">.</span>choices<span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span><span class="token punctuation">.</span>delta<span class="token punctuation">.</span>content<span class="token punctuation">,</span> end<span class="token operator">=</span><span class="token string">""</span><span class="token punctuation">,</span> flush<span class="token operator">=</span><span class="token boolean">True</span><span class="token punctuation">)</span>
        new_message<span class="token punctuation">[</span><span class="token string">"content"</span><span class="token punctuation">]</span> <span class="token operator">+=</span> chunk<span class="token punctuation">.</span>choices<span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span><span class="token punctuation">.</span>delta<span class="token punctuation">.</span>content

history<span class="token punctuation">.</span>append<span class="token punctuation">(</span>new_message<span class="token punctuation">)</span>
<span class="token keyword">print</span><span class="token punctuation">(</span><span class="token string">"\033[91;1m"</span><span class="token punctuation">)</span>

userinput <span class="token operator">=</span> <span class="token builtin">input</span><span class="token punctuation">(</span><span class="token string">"&gt; "</span><span class="token punctuation">)</span>
<span class="token keyword">if</span> userinput<span class="token punctuation">.</span>lower<span class="token punctuation">(</span><span class="token punctuation">)</span> <span class="token keyword">in</span> <span class="token punctuation">[</span><span class="token string">"bye"</span><span class="token punctuation">,</span> <span class="token string">"quit"</span><span class="token punctuation">,</span> <span class="token string">"exit"</span><span class="token punctuation">]</span><span class="token punctuation">:</span> <span class="token comment"># 我们输入bye/quit/exit等均退出客户端</span>
    <span class="token keyword">print</span><span class="token punctuation">(</span><span class="token string">"\033[0mBYE BYE!"</span><span class="token punctuation">)</span>
    <span class="token keyword">break</span>

history<span class="token punctuation">.</span>append<span class="token punctuation">(</span><span class="token punctuation">{<!-- --></span><span class="token string">"role"</span><span class="token punctuation">:</span> <span class="token string">"user"</span><span class="token punctuation">,</span> <span class="token string">"content"</span><span class="token punctuation">:</span> userinput<span class="token punctuation">}</span><span class="token punctuation">)</span>
<span class="token keyword">print</span><span class="token punctuation">(</span><span class="token string">"\033[92;1m"</span><span class="token punctuation">)</span>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39

运行 Python 客户端即可：

中文对象

按照第二篇博文，部署基于 Web 版对话机器人：一文彻底整明白，基于 Ollama 工具的 LLM 大语言模型 Web 可视化对话机器人部署指南

基于 GGUF 量化模型生成 Ollama模型文件，假设文件名为Modelfile-Chinese，内容如下：

FROM ./Llama3-8B-Chinese-Chat-q4_0-v2_1.gguf

 
 

 
 
  • 1

执行 Ollama 模型转换，Llama-3-8B-Chinese为 Ollama 模型名：

$ ollama create Llama-3-8B-Chinese -f ./Modelfile-Chinese
transferring model data
using existing layer sha256:242ac8dd3eabcb1e5fcd3d78912eaf904f08bb6ecfed8bac9ac9a0b7a837fcb8
creating new layer sha256:9f3bfa6cfc3061e49f8d5ab5fba0f93426be5f8207d8d8a9eebf638bd12b627a
writing manifest
success

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

可以通过 Ollama 查看目前的大模型列表：

$ ollama list
NAME                     	ID          	SIZE  	MODIFIED
Llama-3-8B-Chinese:latest	37143cf1f51f	4.7 GB	42 seconds ago
Llama-3-8B:latest        	74abc0712fc1	4.9 GB	3 days ago

 
 

 
 
  • 1
  • 2
  • 3
  • 4

可以看到我们刚安装的大模型：Llama-3-8B-Chinese

启动ollama-webui-lite项目，可以选择Llama-3-8B-Chinese模型和对话聊天了：

$ npm run dev

> ollama-webui-lite@0.0.1 dev
> vite dev –host –port 3000

VITE v4.5.3 ready in 1797 ms

➜ Local: http://localhost:3000/
➜ Network: http://192.168.101.30:3000/
➜ press h to show help

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

模型选择

方式二：通过 Ollama 拉取模型文件

这种方式比较简单，无需下载 GGUF 模型文件，可以让 Ollama 直接拉取模型文件并完成安装：

# Llama3-8B-Chinese-Chat的4位量化版本（对机器性能要求最低）
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q4

# Llama3-8B-Chinese-Chat的8位量化版本（对机器性能要求中等）
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q8

# Llama3-8B-Chinese-Chat的f16未量化版本（对机器性能要求最高）
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-fp16

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

Ollama 自动下载并完成安装，之后启动ollama-webui-lite项目，就可以使用了~

我的本博客原地址：https://mp.weixin.qq.com/s/idcdIr8mMWDQ_iZU5r_UEQ

微信公众号：老牛同学

月流霜
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Llama3-8B-Chinese-Chat 第一个使用ORPO微调的中文Llama3模型
2401_84052244的博客
05-02 786
我们最新提供了GGUF版本的Llama3-8B-Chinese-Chat模型，共有FP16和8bit量化两个版本可选，模型下载链接如下：FP16版本：8bit量化版本：如题目所示，我们开源了Llama3-8B-Chinese-Chat模型（基于Llama3-8B-Instruct[微调，模型下载请详见下面的huggingface链接），这是。
Llama3-70B-Chinese-Chat-大模型资源
07-21
Llama3 70B C-EvalCMMLUChatGPTGPT-4
基于Llama 3搭建中文版（Llama3-Chinese-Chat）大模型对话聊天机器人
老牛啊
05-21 4542
前面两篇博文，我们在笔记本部署了Llama 3 8B大模型，使用Ollama搭建了基于Web 可视化对话机器人。在使用过程中，大模型经常出现中文问题英文回答的问题。本博文就用Llama3-Chinese-Chat微调模型来解决这个问题……
Llama3-8B-Chinese-Chat 聊天机器人
engchina的专栏
06-15 286
Llama3-8B-Chinese-Chat 聊天机器人
Llama3-8B-Chinese-Chat：首个中文微调LLaMa 3模型
m0_59164520的博客
04-24 1796
Llama3-8B-Chinese-Chat：首个中文微调LLaMa 3模型，基于 Meta-Llama-3-8B-Instruct 模型，使用 ORPO 对其进行了中文微调，从而提高了其在中文问答中的表现。
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-20 3万+
​ LLMs之Llama 3：Llama 3的简介、安装和使用方法、案例应用之详细攻略 目录 Llama 3的简介 Llama 3的安装和使用方法 Llama 3的案例应用 Llama 3的简介 2024年4月18日，Meta 重磅推出了Meta Llama 3，Llama 3是Meta最先进开源大型语言模型的下一代，包括具有80亿和700亿参数的预训练和指令微调的语言模型，能够支持广泛的应用场景。这一代Llama在一系列行业标准基准测试中展示了最
使用 LLaMA Factory 微调 Llama-3 中文对话模型
2401_85280307的博客
06-13 793
请申请一个免费 T4 GPU 来运行该脚本详细讲上面连接。需要科学上网微调过程大约需要 50 分钟。
Llama3-8中文微调完成更好地帮助中文写作、编程和数学
specssss的博客
04-23 1215
让C表示鸡的数量，R表示兔的数量。所以，我们可以写出以下方程:C+R=10..(1)2C+4R=28..(2)现在，我们可以解出C和R的方程。与原始的 Meta-Llama-3-8B-Instruct 模型相比，此模型显著减少了“中文问题英文回答"和混合中英文回答的问题。因此，二班和三班的剩余梨数量可以通过从总数中减去一个班的数量来计算: 40-20=20个梨 现在，这些剩余的20个梨需要被平均分给二班和三班。要找到二班的份额，可以将剩余数量除以2，因为有两个班:20/2=10个梨，因此，二班有10个梨。
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
寻道码路，探索编程之路的无限可能。
05-20 6784
在当前信息技术迅猛发展的时代，知识库的构建与应用已成为企业竞争的关键。随着自然语言处理技术的不断进步，基于微调的企业级知识库改造落地方案受到越来越多的关注。在前面的系列篇章中我们分别实践了基于CVP架构-企业级知识库实战落地和基于基于私有模型GLM-企业级知识库开发实战；本文将深入探讨和实践一种基于微调技术的企业级知识库改造方法，以期为企业提供更加高效、安全和可靠的知识管理解决方案。
Llama-Factory + Ollama 打造属于自己的中文版 Llama3
hyang1974的博客
05-05 5445
Meta Llama3发布已经有一小段时间了。和以往的原始 Llama 模型一样，Llama 3 对中文的支持效果欠佳。本文则探讨如何使用 Llama-Factory 对 Llama3 进行中文微调的具体过程，并通过 Ollama 本地部署中文微调的 Llama3 模型，打造属于自己的个性化的 Llama3 LLM 。
Llama2-7B/13B chat模型（下载地址）.txt
08-14
根据提供的文件信息，我们可以了解到关于Llama2-7B与Llama2-13B两种不同规模的大模型及其对应的聊天版本。以下将详细介绍这些模型的特点、应用场景以及如何获取它们。 ### Llama2-7B与Llama2-13B简介 #### 1. **...
中医问答机器人-基于ChatGLM3-Base+LLaMA-Factory微调的中医问答机器人系统实现-附项目源码+流程教程
07-07
中医问答机器人_基于ChatGLM3-Base+LLaMA-Factory微调的中医问答机器人系统实现_附项目源码+流程教程_优质项目实战
LLama3 中文大模型进行指令微调的中文聊天语言模型
06-06
Llama3-8B-Chinese-Chat 是一款基于 Meta-Llama-3-8B-Instruct 模型进行指令微调的中文聊天语言模型。该模型针对中文和英文用户进行了专门的优化，具有角色扮演、工具使用、数学计算等多种功能。最新的 v2.1 版本相...
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
本项目将介绍如何使用OpenVINO进行大模型的本地化部署，特别是针对LLaMa3模型的实例。通过该项目，开发者可以学习到如何将复杂的模型部署到边缘设备，以便在本地运行高效且实时的推理任务。 LLaMa3是一种大规模的预...
LLaMA 大语言模型系列论文阅读
qq_43799400的博客
08-02 439
LLaMA 大语言模型系列论文阅读
AI电销机器人的效果与作用
jiadan798的博客
08-03 473
ai电销机器人的工作效率是非常高的，电销机器人一天的外呼量至少是3000左右，工作效率是人工的十倍还多，并且电销机器人没有负面情绪，一直都可以保持高昂的工作热情，非常简单方便。4、客户管理：可以记录客户信息、标注客户需求，并设置跟进提醒，方便销售人员或客服人员进行后续跟进。3、数据统计与分析：对通话数据进行统计，包括接通率、通话时长、客户反馈等，为企业提供决策依据。2、语音识别与自然语言处理：能够理解客户的语音并做出相应的回应，实现自然流畅的对话。
【AIGC半月报】AIGC大模型启元：2024.08（上）
LeeZhao的博客
08-02 181
【AIGC半月报】AIGC大模型启元：2024.08（上）
数理方法习题 前六章.pdf
最新发布
08-03
数理方法习题 前六章
llama-2-7b-chat-ggml模型下载
01-12
Llama-2-7b-chat-ggml模型是一个基于人工智能的聊天模型，可以用于生成与人类对话相似的回复。该模型的名称中的“Llama”代表其核心算法，即“对抗性大规模多轮问答系统”（Large-Scale Multi-Turn Question Answering System），该算法在处理复杂的自然语言对话时表现出色。 Llama-2-7b-chat-ggml模型是由一支来自OpenAI的研究团队开发的。他们使用了强化学习技术和大量的真实对话数据进行模型的训练和优化。模型具有广泛的应用领域，如虚拟助手、在线客服、智能聊天机器人等。 要下载Llama-2-7b-chat-ggml模型，你可以访问OpenAI官方网站并找到相关页面。通常，他们会提供有关模型的详细信息和操作说明，以及模型训练所需的计算资源和数据。 在下载之前，你可能需要了解一些模型使用的要求和限制。例如，该模型可能需要较强的计算能力和存储空间来运行。另外，你还需要确保你的使用符合OpenAI的使用协议和条款。 总之，Llama-2-7b-chat-ggml模型是一个功能强大的聊天模型，可以生成与人类对话相似的回复。如果你对该模型感兴趣，你可以前往OpenAI官方网站下载并了解更多相关信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值