更强大的双语对话模型——ChatGLM3

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型,在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上,ChatGLM3-6B 引入了如下特性:

1、更强大的基础模型:ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示,ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。

2、更完整的功能支持:ChatGLM3-6B 采用了全新设计的 Prompt 格式,除正常的多轮对话外。同时原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务等复杂场景。

3、更全面的开源序列:除了对话模型 ChatGLM3-6B 外,还开源了基础模型 ChatGLM3-6B-Base、长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放,在填写问卷进行登记后亦允许免费商业使用。

这里我们使用ChatGLM3-6B来进行测试,两种方式,一种是单独的web测试,另外一种是用Text-generation-webui

首先我们clone一下https://github.com/THUDM/ChatGLM3.git,然后创建虚拟环境python -m venv venv,激活虚拟环境venv\Scripts\activate ,然后安装相应的依赖包

pip install -r requirements -i https://pypi.tuna.tsinghua.edu.cn/simple

最后下载模型,不方便使用huggingface的同学,可以在modelscope中来进行下载:

from modelscope import snapshot_download
model_dir = snapshot_download("chatglm3-6b", revision = "v1.0.0",cahe_dir="your model path")

修改web_demo.py的代码如下:

tokenizer = AutoTokenizer.from_pretrained("your model path", trust_remote_code=True)

model = AutoModel.from_pretrained("your model path", trust_remote_code=True).cuda()

接着就可以启动python web_demo.py:

c170c0bade919da91d6aa7bed7b29570.png

由于显卡限制,生成的速度稍慢,但生成的内容和Claude2比起来还是详细不少。下面的内容是Claude2生成的

好的,这里是一个基于LSTM和PyTorc
  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值