【大模型部署01】---------使用趋动云免费算力部署ChatGLM3-6B大模型

学习大模型和会部署大模型的重要性

• 处理复杂问题：随着科技的发展，我们面临的许多问题变得越来越复杂，如自然语言处理、图像识别、语音识别等。大模型能够更好地处理这些复杂的问题，因为它们具有更多的参数和更强大的计算能力。通过学习大模型，我们可以更好地理解和解决这些问题。
• 提高预测准确性：大模型通常具有更高的预测准确性。这是因为它们可以学习到更多的特征和模式，从而在预测任务中取得更好的效果。例如，在自然语言处理任务中，大模型可以更准确地理解文本的含义，从而提高机器翻译、情感分析等任务的准确性。
• 节省时间和资源：虽然大模型需要更多的计算资源和时间来训练，但它们在实际应用中可以更快地完成任务。这是因为大模型已经学习到了很多有用的信息，所以在处理新任务时，它们可以更快地找到解决方案。此外，一旦大模型被训练好，它们可以在多个任务中重复使用，从而节省了时间和资源。
• 推动人工智能发展：大模型是人工智能领域的重要研究方向，它们的出现和发展推动了人工智能技术的进步。通过学习大模型，我们可以更好地了解人工智能的工作原理，从而为未来的研究和应用奠定基础。
• 提高竞争力：在当今这个竞争激烈的时代，掌握大模型的知识和技能可以帮助我们在职场上脱颖而出。许多企业和研究机构都在积极寻求大模型的应用，因此具备这方面的能力将有助于提高我们的竞争力。

下面将详细介绍如何使用趋动云部署ChatGLM3-6B大模型

---

01、趋动云注册

step1

点击专属链接进行账号注册：https://growthdata.virtaicloud.com/t/vs
（注意：不使用该链接注册无法送你168算力）

step2

注册成功之后点击右上角的充值，进去之后可以看见自己还有多少算力

---

02、手把手教你部署最新的chatGLM3-6B模型

ChatGLM-6B，是由清华大学和智谱AI联合研发的产品。是一个开源的、支持中英双语问答的对话语言模型,并针对中文进行了优化。该模型基于 General Language Model (GLM)架构,具有 62亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4量化级别下最低只需 6GB显存)。

step1:创建属于自己的项目

创建好账号之后，进入自己的空间，点击右上角的创建项目

给项目起一个名称，可以按照自己的想法其名称，然后选择本地代码，后续我们会从其他地方拷贝代码，在这个页面我们只需要添加镜像和模型

镜像选择：选择官方的pytorch2.0.1，Conda3.9

选择预训练模型，点击公开，选择不要葱姜蒜上传的这个ChtaGLM3-6B模型,现在上传模型的人有点多，需要你耐心找一下。

都选完之后，点击右下角的创建，代码选择暂不上传。后面会直接clone代码，这里直接点击运行代码。


资源配置选择: B1.large，24G的显存足够加载模型了。其他的不需要设置，然后点击右下角的开始运行。

---

Step2: 配置所环境and修改代码

这一步需要等待一段时间，等左边加载完毕之后，在右边开发者工具即可点击，点击JupyterLab进入开发环境。

进入开发环境之后我们新建一个窗口，点击+号即可

选择terminal进入终端

---

设置镜像源and克隆项目

首先在终端输入tmux,进入一个新的会话窗口。使用可以保持终端的稳定性

tmux

升级apt，安装unzip

apt-get update && apt-get install unzip

设置镜像源，升级pip

git config --global url."https://gitclone.com/".insteadOf https://
​pip config set global.index-url https://mirrors.ustc.edu.cn/pypi/web/simple
​python3 -m pip install --upgrade pip

克隆项目，并进入项目目录

git clone https://github.com/THUDM/ChatGLM3.git​
cd ChatGLM3

按照上述代码正常情况下是不会报错的，每一步执行展示结果如下：

---

修改requirements

双击左侧的requirements.txt文件，把其中的torch删掉，因为我们的环境中已经有torch了，等下下载的时候不需要重新再安装torch。

点击左上选项卡，重新返回终端，安装所需要的配置环境，命令如下：

pip install -r requirements.txt

---

修改部分代码

修改web_demo2.py

双击web_demo2.py，将加载模型的路径修改为：

../../pretrain

---

修改web_demo.py

和上面一样我们修改一下模型路径，不同的是，接下来还需要修改一段启动代码,在文件的末尾添加下面代码：

demo.queue().launch(share=False, server_name="0.0.0.0",server_port=7000)

于此同时在界面的右边添加外部端口：7000

---

step3:运行代码

运行gradio界面

python web_demo.py

等待模型慢慢加载完毕，可能需要个五六分钟叭保持一点耐心吧。加载完毕之后，复制右侧外部访问的连接，到浏览器打打开。

使用浏览器打开之后就可以进行问题提问，

运行streamlit界面

如果你运行了gradio，需要先杀掉这个进程，不然内存不够CTRL+C 可以杀掉进程，杀掉进程之后，显存不会立刻释放，可以观察右边的GPU内存占用，查看显存释放情况。

上面咱们已经修改过web_demo2.py的代码了，所以可以直接用streamlit运行

streamlit run web_demo2.py

运行streamlit之后，终端会打印两个地址。在右边添加一个和终端上显示的一样的端口号。我的端口号和你们可能不一样，请按照你的提示来。

复制外部访问地址到浏览器打开，之后模型才会开始加载。等待模型记载完毕即可。

打开浏览器复制右边的外部链接，ok可以使用体验了！！！最后记得将自己搭建的模型保存镜像，下次可以直接启用。