大模型技术发展如火如荼,国内外已经出现不少优秀开源项目,其中国内清华大学开源的ChatGLM-6B广受关注。
师出名门,未来可期
ChatGLM-6B是一个基于GLM的生成式对话模型。由清华大学团队开发,旨在改进对话机器人的生成质量和逻辑。ChatGLM-6B采用了全新的训练方法,在其开源的模型中已经在大规模数据集上进行了训练,用户可体验高质量的对话机器人,也可以对其在用户自有数据集上微调,得到自己专属的大模型。
项目链接:https://github.com/THUDM/ChatGLM-6B
对于在做AIGC、大模型应用的用户,ChatGLM-6B是非常值得深入研究的项目。
ChatGLM-6B有何优势
生成质量高:对话更加自然、流畅,提供了更好的用户体验。
对话逻辑强:ChatGLM-6B能更好地理解上下文,生成有逻辑性、连贯的回复。
开源:相对于商业应用ChatGPT,研究者和开发者可以自由地使用、修改和分发模型和代码。推动相关研究和应用。
在趋动云上部署ChatGLM-6B的优势
无需担心下载问题:趋动云上已经有小伙伴将十几G的ChatGLM-6B模型上传了,省却了大家下载的时间,一键勾选,即可使用。
硬件强大,多种型号可选:大模型对于内存、显存的要求比较高,普通用户很难有几十G的内存和显存。趋动云上有多种型号机型可选,内存最高可达几百G,单卡显存从6G到80G,方便根据需要自由选择,同时用户可以很方便的调用多GPU能力。
软件和环境配置简单:无需担心软件安装和版本不兼容,趋动云内置不同框架的多种不同版本的系统镜像,支持用户保存自定义镜像,满足大多数用户使用的同时,也方便大家针对自己的需要进行软件配置。
手把手教程:趋动云部署ChatGLM-6B
创建项目,配置PyTorch 2镜像:
创建一个新项目后,添加PyTorch 2 镜像,
添加ChatGLM-6B模型:
在添加数据这一步,选择chatglm-6b-230726模型,11G的模型文件就可以在项目中直接使用了
![52110e67ac860cfebeb8f2f5ef5f091a.png](https://i-blog.csdnimg.cn/blog_migrate/d6acdf3f293691cd4f3a8712d75f123b.png)
请注意添加后,该模型文件,所在的目录为/gemini/data-1,在后续设置中需要使用(在Python代码中填写模型路径)。
此时即可点击创建项目了,选择先不上传代码,待会从github上下载:
![8852c533f7e3f45e06893b30f5b3abd2.png](https://i-blog.csdnimg.cn/blog_migrate/efa9bf92fd3ed576f1fcd596721c52ea.png)
创建好之后,进入项目界面,现在我们选择运行代码:
![09873d6ed972cfc715977f1ecda570a0.png](https://i-blog.csdnimg.cn/blog_migrate/a4d2d07f308bb76836903d6b1a1e61f0.png)
而后系统会要求我们选择机型,算力君选择了s2.large,显存24GB,内存48GB,此时为了支持外网访问,我们开放一个端口(后续设置要使用):
![8112f862c4946fc57a112d25878d3175.png](https://i-blog.csdnimg.cn/blog_migrate/6555486688bd6770769bd1f34d269358.png)
而后等待系统分配机器:
![730a9c63888c380fa32f2e90e9606f67.png](https://i-blog.csdnimg.cn/blog_migrate/e2c9044b6185085f669393996d689035.png)
系统分配完机器后,我们点击进入开发环境,在这里我们可以使用命令行也可以使用JupyterLab进行开发,在命令行依次输入:
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
python3 -m pip install --upgrade pip
git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
pip install -r requirements.txt
![a5c92b1a9ec74daa8f7c2343fcecb089.png](https://i-blog.csdnimg.cn/blog_migrate/f33d0f1bc6404e78d83a66dafe2cebe7.png)
然后切换到JuperLab下修改web_demo.py代码,将THUDM/ChatGLM2-6B改为/gemini/data-1:
![80a032b204d49dcd6e5f9ea965822074.png](https://i-blog.csdnimg.cn/blog_migrate/66ee0de7c94a78aa249448cc5034aedc.png)
将最后一行改为
demo.queue().launch(share=True, server_port=15432,inbrowser=True)
![cd96e8e04c9ec61df8bc1ae2ab145dce.png](https://i-blog.csdnimg.cn/blog_migrate/0cac91a50d71dd41c37d6c1d564a595c.png)
server_port 是刚才设置的端口号。
设置完保存就好了,此时一切都已经就绪了。
最后在命令行下输入
python web_demo.py
![2dcba78fd2509abc3dd52266aae8445a.png](https://i-blog.csdnimg.cn/blog_migrate/e03ca55daf011814e0a5b146191e13df.png)
系统就已经部署成功了。
将上图中圈出来的网址拷贝到浏览器即可体验ChatGLM2-6B大模型的魔力了!
先问两个常识问题看看:
回答的还可以。
再考验一下它的总结能力:
找了一篇论文的摘要,总结结果有稍许不太准确,但大致意思是对的。
再看看它的数学推理怎么样:
对这些简单的问题表现还不错。
欢迎大家到趋动云GPU平台亲自体验一把ChatGLM2-6B的部署,对于熟悉趋动云后台的小伙伴,应该不超过5分钟就能跑起来。
也期待更多从事大模型研究的小伙伴使用趋动云,做出更有影响力的工作!
趋动云
连接算力・连接人
注册即可获得 168 元体验金!https://growthdata.virtaicloud.com/t/Va
![28f458763457266de2136a06e74aa7ca.png](https://i-blog.csdnimg.cn/blog_migrate/353e767015029997fa96f544e416fac6.png)
更多福利,扫码添加小助手 邀你入群~
扫码注册趋动云账号 并关注趋动云服务号 即可另外额外赠送 10 元算力金
![509e01909fb9867e501f4d6640383af7.png](https://i-blog.csdnimg.cn/blog_migrate/dd8e6df67abd0e641a67cc6bdc0f5948.png)
请注册后联系小助手,立即领取
▼HOT
趋动云火热注册中!点击“阅读原文”即可尝鲜~