wsl下Linux使用chatglm.cpp记录

目录

前言

一些说明

过程

git chatglm.cpp代码

安装相关包

convert量化ggml

cmake构建项目

命令行模型推理

webdemo模型推理

APIServer

性能表现

gpu推理设置

---

前言

Linux之前用的少，多数还是在Windows下操作，导致对Linux很陌生，而且思维定势的，一有什么操作，还是习惯性在Windows下操作。

在chatglm.cpp操作上也是如此，但是代码可不管你这些，该报错就报错。so可能还是尝试下Linux。而wsl下Linux就是一个比较方便使用Linux环境的方法，wsl很轻量化，避免了你还得再安装虚拟机软件，而且VMWare可能还和docker存在冲突。

wsl下Linux基本操作间如下链接，本文主要讲后续如何在wsl下的Linux环境使用chatglm.cpp

wsl初步使用记录-CSDN博客https://blog.csdn.net/to_love_/article/details/137559827

一些说明

wsl下的Linux环境还是比较干净，相比云服务器提供了毕竟完善的软件安装，wsl下的Linux系统一些软件都需要自己安装的。

对于这些不一样的地方，我进行颜色标识，方便快速查阅。

过程

git chatglm.cpp代码

git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp
git submodule update --init --recursive

正常是没问题的，不过我这里一直连不上github.com，提示连接被拒绝，而且是秒拒。

试着ping结果ip是127.0.0.1，怪不得，应该和我Windows本机使用了Github加速代理有关，本质上是给hosts加了github.com的映射记录。

而且吧，wsl还有个机制，他会自动同步Windows宿主机的hosts记录到Linux下的hosts文件。当然可以关闭自动更新

sudo vim /etc/wsl.conf

增加

[network]
generateHosts = false

小提示：这里使用了vim编辑器，需要保存的话，先按ESC键，然后输入:wq即可保存并退出。

cat /etc/wsl.conf即可查看文件是否已更新

cat /etc/hosts查看Linux下hosts文件，是否还有错误的github.com映射信息

有的话，通过sudo vim /etc/hosts删掉，并增加20.205.243.166 github.com，这样访问githun.com就会去找这个新增的IP记录（注意：ip地址可能会变，则需要更新）

这个时候再次ping github.com，IP信息已经变过来了。

接下来重启Linux环境

wsl --shutdown ubuntu（这里看你具体的wsl系统名）

重新进入Linux环境

wsl -d ubuntu

这个时候就可以正常执行git操作了

安装相关包

python3 -m pip install torch tabulate tqdm transformers accelerate sentencepiece

这个时候会提示pip不存在（python倒是有了），那么再安装下pip

sudo apt install python3-pip
接下来即可正常pip install了，不过这几个包都很大，下载包很慢。那么可以先Ctrl+C停掉安装过程，在如上命令后加 -i https://pypi.tuna.tsinghua.edu.cn/simple，这样通过清华pip镜像源下载就飞快了

convert量化ggml

python3 chatglm_cpp/convert.py -i THUDM/chatglm3-6b -t q4_0 -o chatglm3-ggml.bin

如果使用该命令，如果当前模型文件不存在，会自动从huggingface下载模型。

这个时候问题又来了，由于网络原因，会提示你连不上huggingface，那么就需要通过镜像来下载，即需要设置huggingface模型下载地址的环境变量

export HF_ENDPOINT="https://hf-mirror.com"

查看是否已更新echo $HF_ENDPOINT

继续执行如上命令，这速度嗖嗖的~

很快q4_0量化模型也好了

cmake构建项目

cmake -B build
cmake --build build -j --config Release

其实，这里也需要先安装cmake

sudo apt update
sudo apt install cmake

命令行模型推理

./build/bin/main -m chatglm3-ggml.bin -p 你好

webdemo模型推理

python3 ./examples/web_demo.py -m chatglm3-ggml.bin

这里会提示chatglm_cpp不存在，pip install .即可解决

再次运行提示gradio不存在，pip install gradio即可，这个包可以更新到最前面的pip install命令中

APIServer

首先说下这块比较有坑

MODEL=./chatglm3-ggml.bin uvicorn chatglm_cpp.openai_api:app --host 127.0.0.1 --port 8000

这个时候会报错，不存在chatglm_cpp._C

可以发现如上命令是在chatglm.cpp路径下执行的，然后openai_api.py在chatglm_cpp路径下。看了下代码，在chatglm_cpp下有__init__.py，里边引用了chatglm_cpp._C。另一方面，我们在前面pip install的时候也是chatglm_cpp，可能两个一起有冲突，这样就出问题了

有2个办法吧，一个是改掉这个文件夹名称，比如改为chatglm-cpp

再一个，cd 到chatglm_cpp下执行，这个时候需要改下命令，主要是相对路径变了

MODEL=../chatglm3-ggml.bin uvicorn openai_api:app --host 127.0.0.1 --port 8000

两种方式都可以的，然后通过apipost或代码方式，都可以调用类openai的webapi了

性能表现

我这本身的Windows环境，然后是通过wsl新建了一个Linux环境。

硬件方面，没有GPU，在q4_0量化后，速度也还凑合用。

不过个人觉得，要准生产可用，还是需要GPU的，推理速度还是会差很多的。

gpu推理设置

如果电脑有GPU，那么cmake和pip install .的时候，都需要增加参数

cmake -B build -DGGML_CUBLAS=ON

CMAKE_ARGS="-DGGML_CUBLAS=ON" pip install .

相关参数其实在chatglm.cpp代码下的readme文档都有说明。