打造自己的大模型｜03篇使用llama.cpp量化并在Mac上私有部署ChatGPT

于 2024-08-23 11:45:00 发布
阅读量151 收藏 7
点赞数 11
文章标签： llama chatgpt prompt RAG 人工智能 产品经理 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Langchain/article/details/141438280
版权

在之前的两篇文章中，我们利用LLaMA-Factory微调工具包，对Llama3模型，进行了中文语料适配的微调。并进行的微调大模型的评估和合并导出操作。

本篇文章，我们将对微调之后的大模型，进行量化处理，并在本地部署打造一个属于我们自己的ChatGPT。

认识GGUF格式

在之前的文章《本地部署中文Llama3并用弱智吧测试》中，我们知道Ollama可以运行GGUF导入的模型文件。

如何将我们训练的.safetensors格式文件转化为GGUF格式的文件，首先需要了解什么是GGUF格式文件。

大语言模型的开发通常使用PyTorch等框架，其预训练结果通常也会保存为相应的二进制格式，如pt后缀的文件通常就是PyTorch框架保存的二进制预训练结果。

我们在huggingface**上面看到很多.safetensors和.bin格式的模型文件，但我们在使用LM Studio，Ollama等客户端模型整合工具都会使用到GGUF格式的模型文件。

在这里插入图片描述

Georgi Gerganov（https://github.com/ggerganov） 是著名开源项目llama.cpp（https://github.com/ggerganov/llama.cpp） 的创始人，它最大的优势是可以在CPU上快速地进行推理而不需要 GPU。

创建llama.cpp后，作者将该项目中模型量化的部分提取出来做成了一个用于机器学习张量库：GGML（https://github.com/ggerganov/ggml） ，项目名称中的GG其实就是作者的名字首字母。它与其他张量库（tensor library）最大的不同，就是支持量化模型在CPU中执行推断。从而实现了低资源部署LLM。

而它生成的文件格式最初只存储了张量，这就是GGML工具，后来由于一些不足：

它无法有效地识别不同的模型架构，对超参数的添加和移除具有破坏性，这使得模型的迭代和升级变得复杂。

为此，在2023年8月份，Georgi Gerganov推出了GGUF作为后续的替代者，即：GGUF格式标准:

https://github.com/ggerganov/ggml/blob/master/docs/gguf.md

  • GGUF (GPT-Generated Unified Format) 是一种二进制模型文件格式，
  • 专为GGML及其执行器快速加载和保存模型而设计。
  • GGUF 是 GGML、GGMF 和 GGJT 的后继文件格式，通过包含加载模型所需的所有信息来确保明确性。
  • GGUF 被设计为可扩展的，以便可以在不破坏兼容性的情况下将新信息添加到模型中。

安装llama.cpp

在Mac M1芯片**的环境下，我们选择用homebrew安装。需要提前在Mac上安装好homebrew软件。

brew install llama.cpp

在这里插入图片描述

其他操作系统环境可以参考官方文档：https://github.com/ggerganov/llama.cpp/blob/master/README.md

利用llama.cpp转换成GGUF格式

参考文档：https://github.com/ggerganov/llama.cpp/blob/master/README.md#prepare-and-quantize

git clone --depth 1 https://github.com/ggerganov/llama.cpp.git

// 安装python依赖包
pip install -r requirements.txt

llama.cpp官方提供了转换脚本，可以将pt格式的预训练结果以及safetensors模型文件转换成GGUF格式的文件。

执行convert-hf-to-gguf.py文件，可以将model转化为GGUF格式：

python convert-hf-to-gguf.py models/mymodel/

在这里插入图片描述

在所在文件夹下，就会生成一个ggml-model-f16.gguf文件，当前模型权重参数的精度是f16。

在这里插入图片描述

将文件改名成xiaowu5759-llama3-chinese-f16.gguf。

量化模型并导入Ollama

量化模型，可以执行llama.cpp命令来进行量化：

# quantize the model to 4-bits (using Q4_K_M method)
./llama-quantize ./models/mymodel/ggml-model-f16.gguf ./models/mymodel/ggml-model-Q4_K_M.gguf Q4_K_M

同时也可以选择Ollama量化，Ollama导入GGUF格式文件，支持将f16.gguf模型文件在导入时候执行量化操作。

参考文档：Ollama导入模型 https://github.com/ollama/ollama/blob/main/docs/import.md

创建Modelfile文件：

FROM ./xiaowu5759-llama3-chinese-f16.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"

执行命令：

ollama create -q Q4_0 xiaowu5759-llama3-chinese:8b

在这里插入图片描述

可以选择的量化等级有：

在这里插入图片描述

查看导入模型信息：

ollama show xiaowu5759-llama3-chinese:8b

在这里插入图片描述

导入完成，文件的大小占用了4.7GB。

open-webui进行对话测试

open-webui是一个为Ollama运行模型打造的WebUI页面。

多轮简单对话：

在这里插入图片描述

全程都是采用中文问答的形式，没有出现中英混答的现象。

编写代码能力测试：

在这里插入图片描述

至此，我们就完整的从数据准备，模型准备，微调训练，到模型评估测试，模型合并导出，到量化部署大模型，打造了一个完全属于我们自己的ChatGPT应用了。

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

Langchain
关注
  • 11
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用 llama.cpp 在本地部署 AI 大模型的一次尝试
素履独行 | 元培的个人博客
03-01 1743
2023年被誉为AIGC元年，随着技术浪潮，人们开始对人工智能的发展产生担忧。文章介绍了使用llama.cpp在本地部署AI大模型的过程，包括编译、量化和模型下载。通过对不同模型的体验，展示了其运行效果和评估。最后，将ChatGPT-Next-Web与llama.cpp结合，展示了本地部署AI大模型的潜力。整体讲述了私有化部署AI大模型的重要性和实践过程。
llama.cpp.rar
04-23
《llama.cpp在Windows环境下的应用与开发解析》 在信息技术领域，编程是构建软件的基础，而源代码文件则是程序员的“墨宝”。当我们提到"llama.cpp.rar"时，这是一个压缩包，其中包含了名为"llama.cpp"的C++源代码...
[NLP] 使用Llama.cpp和LangChain在CPU上使用大模型-RAG
2401_85280307的博客
05-31 545
下载llama-cpp, llama-cpp-pythonLangChain是一个提供了一组广泛的集成和数据连接器，允许我们链接和编排不同的模块。可以常见聊天机器人、数据分析和文档问答等应用。sentence-transformer提供了简单的方法来计算句子、文本和图像的嵌入。它能够计算100多种语言的嵌入。我们将在这个项目中使用开源的all-MiniLM-L6-v2模型。Facebook AI相似度搜索(FAISS)是一个为高效相似度搜索和密集向量聚类而设计的库。
llama.cpp系列-量化部署实践
2401_85379281的博客
06-06 815
开发者Georgi Gerganov基于Meta释出的LLaMA模型（简易Python代码示例）手撸的纯C/C++版本，用于模型推理。
建立自己的ChatGPT：LLama私有化部署及测试_搭建自己的 llama模型
python12345_的博客
06-30 737
大语言模型（LLM）现在非常流行，可惜ChatGPT等都不开源。大家没法搭建一个自己的环境来感受以下。以 Meta 开源 LLaMA（直译为「大羊驼」）系列模型为起点，斯坦福大学等机构的研究人员先后在其上进行「二创」，开源了基于 LLaMA 的 Alpaca（羊驼）、Alpaca-Lora、Luotuo（骆驼）等轻量级类 ChatGPT 模型，大大降低了这类模型的研究、应用门槛，训练、推理成本一再降低。
[机器学习]-如何在 MacBook 上安装 LLama.cpp + LLM Model 运行环境
owlion的博客
02-26 2007
本文介绍了如何通过 llama.cpp 在普通硬件环境下安装部署大语言模型的运行环境，为知识学习和开发本地智能服务提供支持。
7种大模型的部署方法汇总：Transformers、Llama.cpp、Llamafile、Ollama......
老皮的博客
08-10 869
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
LLM-Llama在 MAC M1上体验Llama.cpp和通义千问Qwen 1.5-7B
2401_82469710的博客
05-24 732
Llama.cpp的主要目标是在各种硬件上（本地和云端）实现LLM推断，同时保持最小的设置和最先进的性能。
一文搞定：LLM并发加速部署方案（llama.cpp、vllm、lightLLM、fastLLM）
大模型研究中心
08-07 929
llama.cpp、vllm、lightllm、fastllm四种框架的对比：llama.cpp：基于C++，①请求槽，②动态批处理，③CPU/GPU混合推理vllm：基于Python，①PagedAttention高效管理注意力KV内存，②连续动态批处理，③量化GPTQ/AWQ/SqueezeLLM等。lightllm：基于Python，①三进程异步协作，②动态批处理，③FlashAttention，④TokenAttention，⑤高性能Router。
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
在当前的IT行业中，大模型部署是人工智能领域的一项关键技术，特别是在深度学习和自然语言处理（NLP）的应用中。OpenVINO（Open Visualization Inference and Neural Network Optimization）是由Intel开发的一个工具...
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战.zip
03-26
本项目实战旨在教你如何在本地计算机上部署大型语言模型LLaMA（Large Language Models like MAth）进行推理工作，覆盖Windows、Linux和Mac操作系统。大模型部署是一项技术性极强的任务，涉及到高性能计算、资源管理...
以Llama2为例，教你部署自己的私有大模型.pdf
05-24
### 以Llama2为例，部署私有大模型的关键步骤及技术要点 #### 背景与概述 随着人工智能技术的飞速发展，大模型在自然语言处理领域扮演着越来越重要的角色。近期，Meta公司与微软合作开源了Llama 2模型，这不仅标志...
一个简单的基于llama.cpp的c#仿chatgpt的本地部署demo.zip
02-18
【项目资源】： 包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码...鼓励下载和使用，并欢迎大家互相学习，共同进步。
小琳AI课堂：Llama——NLP界的多面手
最新发布
wx740851326的博客
08-22 628
通过这个演示，我们可以看到Llama在实际应用中的潜力。它不仅能够帮助开发者处理和理解自然语言文本，还能为各种应用场景提供强大的支持。这就是Llama，一个在NLP领域闪闪发光的多面手。现在，让我们通过一个简单的模拟演示来更直观地理解Llama的情感分析功能。我们将使用Python编写一个模拟函数，展示如何分析文本的情感倾向。本期的小琳AI课堂就到这里，希望你喜欢今天的分享。如果你有任何问题或想法，欢迎随时交流！
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
weixin_40777649的博客
08-19 247
一、定义。
LLAMA 3.1 论文的见解
ms44的专栏
08-18 1856
通过选择标准密集 Transformer 模型架构并进行细微调整，他们最大限度地提高了训练稳定性，优于更复杂的模型，例如混合专家模型。我们开发了高质量的 HTML 解析器，以确保抓取的代码和数学文本的质量。这种一丝不苟的方法有助于保持训练数据的高标准，这对于主要在网络数据上进行训练的模型来说至关重要。然而，Meta 的方法表明，只要有正确的相关性和转换，就可以有效地使用它来预测模型的成功。拒绝抽样涉及过滤掉低质量数据以提高数据集的整体质量，这是预训练和监督微调 (SFT) 期间的关键步骤。
【大模型理论篇】关于LLaMA 3.1 405B以及小模型的崛起
weixin_65514978的博客
08-20 1231
LLama3、405B、大模型、预训练、后训练、大模型数据清洗、合成数据、SFT、模型蒸馏、小模型、开源大模型、退火、量化推理、模型架构、transformer
LLama 3 跨各种 GPU 类型的基准测试
姚家湾博客
08-18 1039
根据这些结果的性能，我们还可以计算出最经济高效的 GPU 来运行 Llama 3 的推理端点。该模型 istelf 在广泛的行业平台上表现良好，并提供了新功能，包括改进的推理。研究的重点是研究什么是最简单、性能最好的引擎，可以将 Llama 3 作为 API 端点。它是我们见过的唯一一个提供基准测试机制的推理引擎。在之前的博客文章中，我们研究了使用推理引擎对 Llama 3 的量化和非量化版本执行推理的知名应用程序。我们可以使用许多不同的引擎和技术来判断各种 GPU 的性能。介绍了量化版本，在第。
llama.cpp编译
11-16
根据提供的引用内容，llama.cpp编译存在一些错误，需要进行排查和解决。具体步骤如下： 1.根据引用中的文章，可以了解到llama.cpp是一个量化部署工具，可以将深度学习模型部署到移动设备上。在编译llama.cpp时，需要注意以下问题： - 确保已经安装了必要的依赖库，例如OpenCV、protobuf等。 - 确保已经安装了CUDA和cuDNN，并且配置正确。 - 确保已经安装了TensorRT，并且配置正确。 2.根据引用中的文章，可以了解到在编译GPU版llama.cpp时，可能会遇到以下问题： - 错误描述1：nvcc fatal: Value 'native' is not defined for option 'gpu-architecture'。这个错误是由于nvcc编译器不支持使用“native”选项来指定GPU架构，需要使用具体的GPU架构代号来替代。 - 错误描述2：llama.cpp编译GPU版1.错误描述。这个错误可能是由于编译器版本不兼容或者Makefile文件配置错误导致的。 3.解决方法： - 对于错误描述1，可以使用nvidia-smi命令查看GPU架构代号，然后在编译命令中使用对应的代号。例如，如果GPU架构代号为“sm_75”，则编译命令为：nvcc -arch=sm_75 ... - 对于错误描述2，可以尝试查找编译器版本是否兼容，或者修改Makefile文件中的配置参数，例如修改GPU架构代号等。 - 修改完成后，重新编译并进行测试，确保编译和部署成功。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值