Windows下使用chatglm.cpp的量化模型以实现普通电脑配置也可以来使用ChatGLM3-6B

已于 2024-07-22 11:53:50 修改
阅读量779 收藏 26
点赞数 20
分类专栏： ChatGLM3-6B 文章标签： windows 人工智能 语言模型 自然语言处理
于 2024-07-19 16:38:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TZfool/article/details/140550428
版权

chatglm.cpp是使用cpu驱动，在加上量化以后降低参数精度，可以让cpu配置不够好的情况下也能使用ChatGLM3-6B。由于本人对于C++和Python并不熟悉，可能在文章会有一些错误理解，请读者谅解。

ChatCLM3的GitHub官方链接：

GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型

chatglm.cpp量化模型的GitHub官方链接：

GitHub - li-plus/chatglm.cpp：ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4 的C++实现

首先git环境和python环境肯定是要提前准备好的，然后进入到Windows的命令行模式，cd到我们要保存该项目的目录下，后文所指的chatglm安装所在的绝对路径皆是该路径。

1.将ChatGLM.cpp存储库克隆到本地计算机中：

git clone --recursive https://github.com/li-plus/chatglm.cpp.git &am
最低0.47元/天 解锁文章
人工智能_大模型077_AI产品部署和交付07_大模型开发架构设计_本地运行chatglm3_基于VLLM安装以及部署开源大模型_在VLLM中部署YI-6B-Chat---人工智能工作笔记0212
添柴程序猿的专栏
05-24 238
人工智能_大模型077_AI产品部署和交付07_大模型开发架构设计_本地运行chatglm3_基于VLLM安装以及部署开源大模型_在VLLM中部署YI-6B-Chat---人工智能工作笔记0212
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
丨汀、的博客
05-06 2169
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2572
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
ChatGLM.cpp：实时聊天AI的强大引擎
gitblog_00039的博客
08-08 869
ChatGLM.cpp：实时聊天AI的强大引擎 项目地址:https://gitcode.com/gh_mirrors/ch/chatglm.cpp 在人工智能的浪潮中，实时聊天AI的需求日益增长。今天，我们向您推荐一款强大的开源项目——ChatGLM.cpp，它以其高效的C++实现和卓越的性能，为您的MacBook带来前所未有的聊天体验。 项目介绍 ChatGLM.cpp 是一个基于 ggml ...
使用chatglm.cpp本地部署ChatGLM3-6B模型
skywalk8163的专栏
05-20 1455
ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型 交互实践：../build/bin/main -m ~/models/chatglm3-6b/chatglm3-ggml.bin -p 你好，最好的大模型是哪一款？创建models目录，到目录里下载chatglm3-6b模型到chatglm3目录里。ChatGLM3 > 如果树上有8只鸟，打死3只后，树上将剩下5只鸟。
chatglm.cpp编译与执行
skywalk8163的专栏
04-01 1276
ChatGLM.cpp是一个由li-plus开发并托管在GitCode上的开源项目，它基于Transformer架构，致力于提供高效、灵活且强大的自然语言理解和生成能力。基于ggml的纯C++实现，与llama.cpp的工作方式相同，这使得它在性能优化方面具有显著优势。采用了int4/int8量化的内存高效CPU推理加速技术，并优化了KV缓存和并行计算，进一步提升了模型的推理速度和效率。支持带打字机效果的流生成，使得生成的文本更加自然流畅。
基于ChatGLM.cpp实现低成本对ChatGLM3-6B的量化加速
最美dee时光的博客
02-04 4024
基于ggml的纯C++实现，工作方式与llama.cpp相同。通过 int4/int8 量化、优化的 KV 缓存和并行计算加速内存高效的 CPU 推理。具有打字机效果的流式生成。Python 绑定、Web demo、API server和更多可能性。硬件：x86/arm CPU、NVIDIA GPU、Apple Silicon GPU平台：Linux、MacOS、Windows。
一行命令实现docker一键部署最新模型无限制模型接近GPT4能力的微调ChatGLM3第三代大语言模型单机部署、量化部署、Mac 部署、单GPU部署及多GPU部署指南，附详细代码和步骤
代码讲故事
02-02 1001
一行命令实现docker一键部署最新模型无限制模型接近GPT4能力的微调ChatGLM3第三代大语言模型单机部署、量化部署、Mac 部署、单GPU部署及多GPU部署指南，包含代码调用对话、API调用、网页对话、命令行对话、工具调用、代码解释器等模式，附详细代码和步骤。docker高度封装环境都配置好了，在不同的硬件环境中，只需要修改参数即可，例如多个GPU环境中，只需要修改GPU数量即可。也解决了大模型下载慢和无法下载的问题，提供了多种解决方案。如果想用其他的模型，只需要简单修改一下模型名称即可自动进行下载
ChatGLM.cpp 项目使用教程
gitblog_00599的博客
08-08 409
ChatGLM.cpp 项目使用教程 chatglm.cppC++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & more LLMs项目地址:https://gitcode.com/gh_mirrors/ch/chatglm.cpp 1. 项目的目录结构及介绍 ChatGLM.cpp 项目的目录结构如下： chatglm.cpp/...
【chatglm2】使用Python在CPU环境中运行 chatglm.cpp 可以实现本地使用CPU运行chatglm2模型，速度也特别的快可以本地部署，把现有项目进行AI的改造。
freewebsys的专栏
08-16 5006
也可以支持英文，但是最后几个字有点问题。最后有点乱码，不知道是不是因为模型裁剪的问题。同时也有可能是原始素材就有这个问题。可以使用docker 在 CPU上面运行 chatglm ，同时安装了 pytorch 的CPU 版本，镜像缩小到 1.5 G了。并且速度也是非常的快了。可以在非GPU的机器上面运行了。可以解决很多问题呢。
window 安装大模型 chatglm.cpp
shengjk1的博客
04-28 921
文章介绍了在工作中使用的电脑配置、安装组件及模型，并详细说明了安装步骤和运行方法。同时提及了模型量化的重要性和优缺点
大模型笔记之-低成本部署CharGLM3|chatglm.cpp基于ggml 的纯 C++ 实现
JunHowie的个人Blog
11-28 3745
本文主要介绍基于chatglm.cpp项目仅使用cpu推理chatGLM3的教程。
chatglm.cpp使用手记
qq_46229380的博客
10-11 884
【代码】chatglm.cpp使用手记。
Mac(M1Pro)下运行ChatGLM2
07-09 2493
最近很多人都尝试在M1/M2芯片下跑chatglm/chatglm2，结果都不太理想，或者是说要32G内存才可以运行。本文使用cpu基于chatglm-cpp运行chatglm2的int4版本。开了多个网页及应用的情况下（包括chatglm2)，总体内存占用9G左右。chatglm2可以流畅的运行了。虚拟环境为python 3.10，使用conda 创建。1.安装brew，主要需要安装core及cask。4. 下载chatglm-cpp。8. 安装chatglm-cpp。3. 安装cmake。
国产大语言模型ChatGLM3本地搭建、使用和功能扩展
m0_63171455的博客
06-05 1817
ChatGLM3]
LLM | ChatGLM.cpp 安装使用（支持CPU、Metal及CUDA推理）
宇宙有只 AGI 的博客
09-30 772
还支持没写到的 Function call、Code interpreter、多模态问答等
GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案
Alex_StarSky的博客
11-02 1万+
本地部署大模型，那么如何用小显存部署和使用也是非常重要，让AI的价值应用并延伸到更广泛的领域。 本实战专栏继续关注小而美的大模型，将评估一系列的开源模型，尤其关注国产大模型，重点在于可私有化、轻量化部署，比如推理所需的GPU资源控制在24G显存内，2张Titan XP，或1080 Ti。
ChatGLM 本地部署搭建及测试运行
热门推荐
码园平常事
04-02 9万+
​ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于General Language Model (GLM)架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
从零开始的ChatGLM 配置详细教程
风吹落叶的博客
04-22 1万+
最近安装了一下叶佬的一键安装包总感觉，没有被bug虐浑身不舒服遂，去github上重新git clone了官方的下来并部署玩玩。
chatglm-cpp
最新发布
01-16
### 关于 `chatglm-cpp` 项目的详细介绍 #### 项目概述 `chatglm-cpp` 是一个用于高效运行 ChatGLM 模型的 C++ 实现。此版本旨在提供一种轻量级的方法来部署大型语言模型 (LLM)，特别是针对资源受限环境下的应用需求。 #### 安装与编译指南 为了使该库能够正常工作，在本地环境中完成其编译过程至关重要。具体操作如下所示： 通过执行一系列 shell 命令来进行安装和构建[^1]: ```bash cd chatglm.cpp && cmake -B build && cmake --build build -j --config Release ``` 这段指令会进入 `chatglm.cpp` 文件夹内，并创建一个新的构建目录 (`build`) 来存放编译后的文件；接着使用多线程加速的方式(`-j`)按照发布模式(`Release`)编译整个工程。 #### 使用说明 一旦成功编译了 `chatglm-cpp` 库之后，就可以将其集成到其他应用程序当中去。对于如何实际运用这个库的具体指导可能依赖于官方文档或其他社区贡献者的教程资料。通常情况下，开发者们可以通过链接静态或动态库的形式引入必要的函数接口，进而调用底层优化过的运算逻辑处理自然语言任务。 #### 源码结构分析 深入理解 `chatglm-cpp` 的内部工作机制有助于更好地维护和发展该项目。以下是几个值得关注的关键组件及其功能描述： - **CMakeLists.txt**: 这是一个配置脚本文件，定义了项目所需的外部依赖关系以及各个模块之间的相互作用方式。 - **src/** : 存放着核心算法实现的核心代码片段，包括但不限于矩阵乘法、激活函数计算等基本单元操作。 - **include/** ：包含了所有公开头文件的位置，这些头文件提供了对外部可见的功能声明和服务接口定义。 - **examples/** ：这里收集了一些简单的例子程序用来展示怎样快速上手使用这套工具集解决问题实例。 综上所述，`chatglm-cpp` 不仅简化了 LLMs 在不同平台上的移植性和兼容性挑战，同时也为研究者和技术人员探索更高效的推理机制开辟了一条新路径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值