Ollama部署中文版llama3模型

一、简介

Meta在2023年2月25日里程碑性地发布了最强开源模型Llama 1，不到半年又在同年7月18日，重磅发布了Llama 2。今年4月份的时候推出了Llama 3，为开源大模型树立了新的标杆。
这次发布的Llama 3主要亮点有：

• 性能突出：8B和70B参数的Llama 3模型在许多基准测试上都取得了先进水平，超过了同规模模型。
• 训练数据规模庞大：使用超过15T的token公开文本训练数据，规模比Llama 2大7倍。
• 架构优化：采用相对标准的解码 Transformer结构，但优化了细节，如：token化方式。
• 精细化训练：利用10K级别的GPU小时进行规模化训练，提高训练效率3倍以上。
• 指令微调：采用强化学习的方法进行安全微调，防止模型产生有害响应。
• 负责任开发：推出如Llama Guard安全守门员等工具，提升模型在实际应用中的安全性。
• 功能丰富：未来将支持多语言、多模态功能，更高效率的模型将继续推出。
  可见Llama 3是目前功能最强大、开放度最高的开源语言模型，其应用前景广阔。

Llama3与以往的Llama 模型一样，对中文的支持效果欠佳，你可以用中文进行提问，但是它的回答可能会用英文或中文+英文回复的现象。因此，要想让该模型更好地支持中文，方便我们的使用，还需对其进行一定程度的微调。

二、llama3中文版介绍

从Llama3发布到现在，Github 以及 HuggingFace 平台上，可以看到已经陆陆续续地看到很多将其进行微调了一些这样的项目。

目前效果最好的中文微调版是 HuggingFace 社区的 zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型，该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧数据集。更多关于Llama中文项目的信息，可以看下这个Llama中文社区。

这里简单介绍下GGUF格式的模型。大家平常见到的模型格式大部分是.pt格式或者.onnx格式，对这个GGUF格式可能比较陌生。GGUF文件全称是GPT-Generated Unified Format，是由Georgi Gerganov定义发布的一种大模型文件格式。Georgi Gerganov是著名开源项目llama.cpp的创始人。

GGUF就是一种二进制格式文件的规范，原始的大模型预训练结果经过转换后变成GGUF格式可以更快地被载入使用，也会消耗更低的资源。原因在于GGUF采用了多种技术来保存大模型预训练结果，包括采用紧凑的二进制编码格式、优化的数据结构、内存映射等。llama.cpp官方提供了转换脚本，可以将pt格式的预训练结果以及safetensors模型文件转换成GGUF格式的文件。转换的时候也可以选择量化参数，降低模型的资源消耗。这个过程性能损失很低。

三、导入llama3中文版

1、Ollama导入llama3模型

本文选择Llama3-8B-Chinese-Chat-GGUF-8bit模型进行测试，该模型可以HuggingFace上进行下载，下载GGUF格式的文件即可。

将下载的文件放到一个目录下，然后在该目录下创建一个Modelfile文件，将下面的内容写入文件中：

FROM Llama3-8B-Chinese-Chat-GGUF-8bit
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }} <|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""
SYSTEM """尽你的最大可能和能力回答用户的问题。不要重复回答问题。不要说车轱辘话。>语言要通顺流畅。不要出现刚说一句话，过一会又重复一遍的愚蠢行为。RULES:- Be precise, do not reply emoji.- Always response in Simplified Chinese, not English. or Grandma will be  very angry.
"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"

此处的Modelfile是一个配置文件，主要用于定义和管理 Ollama 平台上的模型。通过模型文件创建新模型或修改调整现有模型，以应对一些特殊的应用场景。自定义提示嵌入到模型中，修改和调整上下文长度、温度、随机种子、降低无意义程度、增加或减少输出文本的多样性等。（注：这不是微调，只是调整原来的模型的参数。）
通过在终端中输入：

ollama create llama3-chinese -f Modelfile

便可以在Ollama中创建模型，该模型的名称就是llama3-chinese。

创建完毕后，通过

ollama list

查看模型是否已经添加成功。

2、MaxKB中调用llama3模型

现在MaxKB中的模型设置中添加刚刚在Ollama中新增的llama3-chinese:latest模型

注：在“基础模型”的下拉列表中，可能不存在名称为“llama3-chinese:latest”的模型，需要手动填入。其他设置和之前一样。
然后通过创建一个应用，就可以愉快的和llama3中文版进行聊天了。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。