免费GPU线上跑AI项目实践（ChatGLM）

声明：

本文内容来自于对DataWhale的开源学习项目——免费GPU线上跑AI项目实践的学习，引用了多处DataWhale给出的教程

初始化开发环境：

代码：https://security.feishu.cn/link/safety?target=https%3A%2F%2Fvirtaitech.blob.core.chinacloudapi.cn%2Fpractices%2FChatGLM2-6B.zip&scene=ccm&logParams=%7B%22location%22%3A%22ccm_default%22%7D&lang=zh-CN

把这里的镜像换成

添加开发端口，使服务器上的应用程序能够与外部进行通信。

对于ChatGPT模型的部署，通常需要使用网络接口来接收用户的请求，并将响应发送回用户。因此，需要在云服务器上设置一个开放端口，以便用户可以通过该端口与ChatGPT模型进行通信。

TCP 77是一个示例端口号，实际上可以根据需要选择不同的端口号。在部署时，你需要确保所选择的端口号未被其他应用程序占用，并且在服务器的防火墙或网络安全组中允许该端口的流量通过。

进入开发环境，进入 ChatGLM2-6B/requirements.txt，增加如下内容并保存：

rouge_chinese

nltk

jieba

datasets

切换至网页终端，并执行如下命令

pip install -r ChatGLM2-6B/requirements.txt -i https://pypi.virtaicloud.com/repository/pypi/simple

加载模型：

切换至 JupyterLab。修改 cli_demo.py 中模型的地址，将 THUDM/chatglm2-6b 替换为 /gemini/data-2

切换至 网页终端。执行如下命令唤醒交互式对话。等待最终 Loading checkpoint shards: 100% 且返回 用户： 字样

在 用户： 行输入您的问题并回车，等待 ChatGLM 回答您的问题。 ChatGLM： 行若有相应信息返回，则成功

ps：好奇为什么会好端端的突然冒出个中文？？？就散文的那里