【小白教程】ARC a750本地运行glm-4-9b

最新推荐文章于 2025-02-22 20:56:48 发布
最新推荐文章于 2025-02-22 20:56:48 发布
阅读量552 收藏 9
点赞数 4
文章标签： 人工智能 语言模型 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48981851/article/details/142132432
版权

【小白教程】ARC a750本地运行glm-4-9b，运行效果

【小白教程】ARC a750本地运行glm-4-9b，运行效果

书接上回：

建议先看看上回的内容

这次下载了glm-4-9b在a750上运行试试

一、先下载模型

打开modelscope网站：https://www.modelscope.cn/models/ZhipuAI/glm-4-9b-chat-1m/files
modelscope相当于国内的Hugging Face。

全部下载
在这里插入图片描述
放到这里D:\AI\openvino-LLM\glm-4-9b-chat-1m，也可以根据自己情况更改路径

二、参考上回，用命令行运行

略

三、用vscode运行

命令行运行感觉不太顺手，改了下代码，通过vscode运行，改了原本的chat.py和convert.py, 先看效果，代码放在最后。

四、运行效果

1、int4量化

int4-CPU GIF动图
在这里插入图片描述

int4-GPU GIF动图
在这里插入图片描述

GPU整体速度比CPU快不少，int4量化优化效果很明显，但win10任务管理器性能显示GPU占用还是不高，a750显卡驱动显示GPU活动80%左右，看起来是系统识别显卡活动不太准。

2、int8量化

int8-CPU GIF动图
在这里插入图片描述

int8-GPU GIF动图
在这里插入图片描述

可以看到int8量化用GPU比CPU还要慢，尴尬了。。。CPU和GPU活动都没满，但是速度上不去

3、fp16

fp16-CPU GIF动图

在这里插入图片描述

CPU还能跑

fp16-GPU GIF动图

在这里插入图片描述

我去做了个饭，回来还没打开。。

感觉只是对int4量化进行了优化，其他的还不如在CPU上跑。

4、ollama

顺便用ollama也测试了下，

最低0.47元/天 解锁文章
GLM-4本地部署的实战教程
herosunly的博客
06-05 24万+
本文主要介绍了GLM-4-9B本地部署的实战教程，希望对学习和使用大模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行glm-4-9b-chat
第一节：GLM-4-9B大模型安装、推理与训练详细教程
weixin_38252409的博客
12-23 1419
清华智普的GLM-4v-9b模型，作为优化的多模态大模型，特别适用于国内应用场景，解决了国外模型本地化不足的问题。本专栏提供环境安装、数据处理、视觉与语言模型源码理解，并基于Hugging Face重构GLM模型搭建教程，帮助理解、修改和应用GLM墨西哥，指导搭建多模态大模型，帮助读者自由搭建与修改大模型。本节给出glm的环境安装、模型训练与推理。
【GLM-4部署实战】GLM-4-9B-Chat模型本地部署实践指南
寻道AI，探索AI无限可能！
08-13 9700
在人工智能的浪潮中，深度学习模型的部署已成为技术研究和实践的热点。自然语言处理（NLP）领域，尤其是对话系统，正迅速成为智能应用的核心。GLM-4-9B-Chat模型以其卓越的语言理解与生成能力，为构建智能对话系统提供了坚实的基础。然而，模型的部署并非易事，它涉及到环境配置、依赖管理、代码编写等多个环节。本文将通过本地模型推理和OpenAI API风格服务发布测试，带你一步步完成GLM-4-9B-Chat模型的部署实践，让你对深度学习模型的部署有一个全面而深入的理解。
IntelA750常用LLM性能评测
oYangShuZuo的博客
12-15 1329
GPU驱动易用性SDK是否可用SDK部署难易程度（满分三星）vscode插件SDK开放性⭐⭐⭐√⭐⭐⭐√⭐⭐⭐⭐⭐⭐（驱动在Kernel中支持）❌⭐⭐❌⭐⭐（支持设备型号太少）⭐⭐（部署过程较繁琐）❌❌❌⭐（闭源）NV(CUDA)⭐（n卡的痛🤣）√⭐⭐⭐√⭐（闭源）
配置 Ollama 使用 GPU 加速模型推理
最新发布
学亮编程手记
02-22 1万+
注：实际性能受模型量化方式（q4_0/q5_K_M）影响显著。
智谱AI GLM4开源！快速上手体验
IT大头的博客
06-05 3634
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。GLM-4-9B 模型具备了更强大的推理性能、更长的上下文处理能力、多语言、多模态和 All Tools 等突出能力。
LLM大语言模型（十六）：最新开源 GLM4-9B 本地部署，带不动，根本带不动
hugo_lei的博客
06-05 1万+
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本GLM-4-9B-Chat均表现出超越 Llama-3-8B 的卓越性能。
ChatGLM4重磅开源! 连忙实操测试一波，效果惊艳，真的好用！附带最新相关资料和喂饭级实操推理教程！！
heaven522的博客
08-07 852
GLM4重磅开源啦GLM4系列版本介绍GLM4大模型能力测评结果经典测评任务结果长文本能力工具调用能力多模态能力手把手实操GLM-4-9B-Chat推理预测&&效果展示GLM4运行硬件和环境要求配置对应的库环境使用peft+bitsandbytes 进行4位量化推理进行大模型的推理显存占用情况手把手实操 多模态版本GLM-4V-9B-Chat推理预测&&效果展示多模态GLM-4V-9B对应的硬件资源进行4位量化加载准备测试图片进行推理预测参考文档GLM-4-9B是智谱AI在24年6月5日推出的开源预训练模型
本地部署GLM-4-9B清华智谱开源大模型方法和对话效果体验
老牛啊
06-08 2350
清华大学和智谱AI推出了全面升级的新一代基座大模型GLM-4，整体性能相比GLM3提升60%，支持128K上下文，可根据用户意图自主理解和规划复杂指令、完成复杂任务……
GLM-130B本地部署的实战方案
热门推荐
herosunly的博客
07-04 7万+
本文主要介绍GLM-130B本地部署的实战方案，希望对学习大语言模型的同学们有所帮助。需要说明的是GLM-130B是未进行微调的版本，还无法达到ChatGLM-130B的效果。 文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 运行GLM-130B模型
Ollama本地部署 Win11 intel arc 显卡GPU加速
lishiyu7的博客
12-20 8863
参考资料：https://test-bigdl-llm.readthedocs.io/en/main/doc/LLM/Quickstart/ollama_quickstart.html。安装 dpcpp-cpp-rt, mkl-dpcpp, 和 onednn 这些特定版本的包。搬运来源：https://zhuanlan.zhihu.com/p/694516502。4.创造llm-cpp环境 配置并运行IPEX-LLM for llama.cpp。新开一个anaconda窗口。
glm-4-9b-chat-1m模型代码文件
06-10
glm-4-9b-chat-1m模型代码文件
glm-4-9b-chat-1m模型结构解读
大模型天花板
06-10 664
【代码】glm-4-9b-chat-1m模型结构解读。
glm4-9B-chat，使用提示工程激活模型最大潜力
jieshenai的博客
08-13 977
作者探讨了如何通过提示词优化大模型的文本生成能力，特别是通过使用Ollama和LangChain来增强细节丰富度和生成范围。文章介绍了GLM4-9B模型的独特性，尤其是其能通过巧妙提示词实现广泛的文本生成能力。作者还分享了一些实用的提示工程技巧，如何引导模型绕过拒答并生成所需内容。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2555
TensorFlow相关组件的安装
ollama运行怎么使用8张A10的GPU卡
keyboard专栏
01-14 1万+
如果你需要进行多 GPU 加速（例如数据并行），需要确保 Ollama 和你的模型支持分布式计算。如果 Ollama 本身没有直接支持多 GPU，你可能需要自行调整代码或配置文件来启用该功能。如果问题仍然存在，可能需要查阅 Ollama 的文档，确认它是否支持多 GPU 并行计算，或对性能进行进一步的优化。来监控每张卡的使用情况。如果只看到一个 GPU 在工作，可能是配置不正确，或者模型没有正确地并行化到多个 GPU。如果你想指定使用特定的 GPU，可以通过设置。，它应该会自动识别并使用你指定的 GPU。
【Linux】环境ChatGLM-4-9B 模型部署
m0_52985087的博客
10-30 2127
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。
使用 Ollama 本地运行各种 LLM
python123456_的博客
05-31 1197
今天看看另外一个产品Ollama。Ollama 的安装非常简单，只需从官网（https://ollama.com/download）下载后解压缩，并在 Terminal 中运行脚本即可完成环境设置。我尝试运行 Llama3，虽然在运行时占用了大量电脑资源，使得其他应用运行变慢，但整体体验尚可。Ollama 支持多种大型语言模型（https://ollama.com/library）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值