04-ChatGLM4实践—GLM安装运行(零基础入门)

在运行之前需要先安装对应的环境依赖以及pytorch

1、GLM-4

1 模型介绍
在这里插入图片描述
2 模型列表

我们会使用9B-Chat这个模型进行演示

在这里插入图片描述

3 代码下载
GLM4代码github地址:https://github.com/THUDM/GLM-42下载预训练数据集(20G)3 运行代码4 对话
在这里插入图片描述

4 模型下载
地址:https://modelscope.cn/models/ZhipuAI/glm-4-9b-chat/files
在这里插入图片描述

# 推荐使用git下载
# git 相关知识参考其他
git clone https://www.modelscope.cn/ZhipuAI/glm-4-9b-chat.git 

在这里插入图片描述

2、运行代码

pytorch的环境已经安装好,需要的可以看上一篇,Pytorch2.3 GPU版本安装https://blog.csdn.net/qq_37153942/article/details/139579093
1 安装环境
切换到conda的环境中,在basic_demo文件目录下安装项目依赖。
在这里插入图片描述
在这里插入图片描述
2 安装

pip install -r requirements.txt

在这里插入图片描述
在这里插入图片描述
3 更改模型路径

#你自己下载的模型路径-文件夹
MODEL_PATH = os.environ.get('MODEL_PATH', 'C:/AIGC/GLM-4/glm-4-9b-chat')

在这里插入图片描述

4 运行demo

python trans_cli_demo.py

在这里插入图片描述
问题:回答的速度还是有点慢,主要是硬件,毕竟大力出奇迹
5 内存监控

在运行demo程序之前,在后台要关注显存的使用情况

方式1:任务管理器
在这里插入图片描述
方式2:nvidia-smi
在这里插入图片描述
大家可以参考文档进行微调等尝试,等到搞得好的机器在与大家分享微调的内容。

  • 4
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值