模型训练系列:1、用清华ChatGLM-6B模型部署自己的本地AI助手
首先需要搞一台GPU较强的机器,推荐先租一台腾讯云、阿里云等AI训练的机器,T4显卡就行,一般价格是按量付费几毛钱一个小时。最近清华大学开源的ChatGLM-6B语言模型在国际上大出风头,仅仅62亿参数的小模型,能力却很强。#运行ChatGLM6B 的web版聊天程序,即可访问http://主机IP:8080进行聊天。本文来自知识星球:ConnectGPT ,一个致力于探索AI、语言模型的应用技术的小圈子。#克隆ChatGLM-6B的int4量化模型。#安装所需的python依赖库。
原创
2023-05-12 10:45:24 ·
3367 阅读 ·
0 评论