本地部署调用ChatGLM-6B解决方案

本地部署调用ChatGLM-6B解决方案

ChatGLM-6B是由清华大学和智谱AI开源的一款对话语言模型，基于 General Language Model (GLM)架构，具有 62亿参数。该模型凭借其强大的语言理解和生成能力、轻量级的参数量以及开源的特性，已经成为在学术界和工业界引起了广泛关注。

本篇将介绍使用DAMODEL深度学习平台部署ChatGLM-6B模型，然后通过Web API的形式使用本地代码调用服务端的模型进行对话。

一、DAMODEL-ChatGLM-6B服务端部署

DAMODEL（丹摩智算）是专为AI打造的智算云，致力于提供丰富的算力资源与基础设施助力AI应用的开发、训练、部署。目前给新用户提供了近100小时的免费4090算力可供使用。

1.1、实例创建

首先进入DAMODEL控制台，点击资源-GPU云实例，点击创建实例：

进入创建页面后，首先在实例配置中首先选择付费类型为按量付费，其次选择单卡启动，然后选择需求的GPU型号，本次实验可以选择选择：按量付费–GPU数量1–NVIDIA-GeForc-RTX-4090，该配置为60GB内存，24GB的显存。