H3C平台部署chatGLM2-6B 且通过两块ＧＰＵ调用

H3C平台部署chatGLM2-6B 且通过两块ＧＰＵ调用

文件上传

首先在github上下载chatGLM2-6B的参数文件和模型文件，简单来说是在github上搜索chatGLM2-6B，如下图所示。

点击右侧ＣＯＤＥ，下载ＺＩＰ，然后解压到新建文件夹：ChatGLM2。然后前往HuggingFace，同上述搜索方法搜索，下载模型文件，需注意，需要一个个点击下载，下载时不要缺项。然后将从HuggingFace上下载的文件，存入新建文件夹：model。然后将model文件夹存放在ChatGLM2目录下，最终文件目录如下图所示。

然后前往cli_demo.py文件中，将读取模型路径修改为model，修改区域如下图标红所示。

然后就做好了前期准备工作。然后将ChatGLM2上传至Ｈ３Ｃ平台。文件上传请参考《Ｈ３Ｃ高性能计算平台——Ｎotebook容器使用实例》。

快速使用

在Ｈ３Ｃ平台打开已创建好的环境，如下图所示：

当我们打开后，进入notebook容器内部，点击Terminal。如下图所示。

然后进入如下页面。

敲入一个回车，页面产生＃提示符，然后敲入bash，再回车。如下图所示。

在该命令行输入：conda activate chatGLMEnv
之后输入:python cli_demo.py即可运行chatGLM2-6B大模型，如下图所示。

详细部署

在将文件上传至Ｈ３Ｃ平台后，先打开Terminal，输入回车，bash回车。进入如下图所示页面。

在此页面输入：vim /etc/resolv.conf
在打开的文件中输入nameserver 8.8.8.8，nameserver 114.114.114.114。之后保存退出即可在Ｈ３Ｃ平台上使用网络服务。如下图所示。

然后即可安装anaconda3。建议换源。anaconda3部署教程：https://blog.csdn.net/weixin_44121966/article/details/122388365
在安装完anaconda3后，确保可以正常使用conda命令后，在root下执行：
conda create -n=chatGLMEnv python=3.10
创建完成该虚拟环境后，cd至上传文件夹的目录下，如下图所示：

上图可以看到，以及切换环境至chatGLMEnv。
在安装依赖前，需要先安装pytorch。输入以下命令：
conda install pytorch1.12.1 torchvision0.13.1 torchaudio==0.12.1 cudatoolkit=10.2 -c pytorch
然后输入命令：pip install -r requirements.txt
等待安装完毕。这一安装过程在pip没有换源的情况下很慢，笔者就等了很久，可能是笔者conda换源没有换到位导致等很久。但其实我们在安装requirements的时候，提示chatGLM2-6B需要2.0以上版本torch，所以他会把你下载的1.12卸载，然后安装2.0，但是你不安装1.12版本，transformer就无法安装。所以只能这样来。
安装完毕后调用如下命令前往cli_demo.py调用两块ＧＰＵ：
vim cli_demo.py
然后添加如下图标红内容。

退出vim编辑器后，在命令行输入：python cli_demo.py
正常启动。

至此部署完毕。