学习实践ChatGLM-6B(部署+运行+微调)

本文介绍了ChatGLM-6B模型的基础信息,它是一个62亿参数的对话机器人模型,支持多种应用场景。文章详细阐述了如何在Linux环境下部署模型,包括网页版和命令行Demo的运行,以及在显存有限的情况下如何通过量化技术降低需求。此外,还讲解了如何使用P-Tuning进行模型微调,并提供了微调的依赖安装和数据集准备步骤。
摘要由CSDN通过智能技术生成

对视觉类论文详解(免费)感兴趣的同学,可以关注微信公众号 李卓璐随手记,将会不定期发布,注意查收哦~

1、ChatGLM-6B内容简单介绍

该模型基于 General Language Model (GLM) 架构,具有 62 亿参数。
注:结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。
ChatGLM-6B可以实现的能力这是一个对话机器人,所以基本的问答,系统都支持。
官方提供的使用实例:
自我认知
提纲写作
文案写作
邮件助手
信息抽取
角色扮演
评论比较
旅游向导

运行界面

在这里插入图片描述

2、ChatGLM-6B模型实战

GLM模型GitHub代码地址
部署步骤如下:(注意使用的是Linux系统,本人数次尝试用Windows以失败告终)

# 新建chatglm环境
conda create 
  • 26
    点赞
  • 131
    收藏
    觉得还不错? 一键收藏
  • 19
    评论
评论 19
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值