Datawhale-AIGC实践-使用趋动云部署ChatGLM3-6B模型

一、引言

在当今的AI时代，深度学习模型的应用越来越广泛。其中，由清华大学开发的ChatGLM模型是一款基于GLM架构的语言生成模型，具有强大的对话生成能力。然而，如何将这种模型部署到实际的应用中，是一个重要的问题。作者通过Datawhale的学习，将介绍如何使用趋动云部署ChatGLM模型。

二、趋动云简介

趋动云是一款专门为开发者提供的AI模型部署平台。它提供了一站式的模型训练、部署、管理服务以及大量的ChatGLM资源，使得开发者可以更加方便地将AI模型应用到实际的业务中。

三、ChatGLM模型部署

1.注册趋动云账号：首先，我们需要在趋动云官网注册一个账号（链接​​​​​​​趋动云账号注册​​​​​​​）注册完成后，我们可以在控制台中看到我们的资源和服务。

2. 创建新的项目：在控制台中，我们可以选择“新建项目”来创建一个新的项目。在创建项目的过程中，我们需要填写项目的名称、描述，选择本地代码，镜像使用PyTorch2.0.1-Conda3.9。

3. 选择模型文件：我们可以在模型选择自己的ChatGLM模型文件或者选择公开模型，DataWhale提供的不要葱姜蒜的ChatGLM3-6B​​​​​​​的模型。于是便可以运行代码了，需要选择资源配置（24G）。然后便可以点击开始运行。

4.项目的运行及代码修改：使用Jupyter Lab进入开发界面，使用终端来设置镜像源，克隆项目。然后需要修改左侧的文件，例如：requirements.txt。修改代码时，要修改模型路径，同时在界面左侧添加外部端口。

5. 测试模型部署：在模型部署完成后，我们可以通过API调用来测试我们的模型部署。如果测试结果满足我们的需求，那么我们就可以选择“发布部署”，使我们的模型部署正式生效。

通过以上步骤，我们就可以成功地使用趋动云部署我们的ChatGLM模型了。需要注意的是，虽然趋动云为我们提供了一站式的AI开发、训练、部署解决方案，但是在实际操作中，我们仍然需要对AI和云计算有一定的了解，才能更好地利用趋动云的功能。

总的来说，趋动云是一个非常强大的AI开发工具，它不仅提供了丰富的AI资源和服务，还提供了简单易用的操作界面，使得AI开发者可以更加专注于模型的开发和优化，而不是繁琐的环境配置和资源管理。因此，无论是对于学术研究者，还是对于企业开发者，趋动云都是一个值得尝试的工具。