本地部署openvino-chaglm3-6b

chatglm3.openvino Demo: https://github.com/OpenVINO-dev-contest/chatglm3.openvino/tree/main

想将github下的代码拉取到本地文件夹中，再打开Windows PowerShell，执行以下命令激活环境。

python -m venv openvino_env

.\openvino_env\Scripts\activate

激活环境的时候，可能会报如下错误，这时候我们只需要输入以下命令，然后输入Y即可解决：

Set-ExecutionPolicy -Scope CurrentUser RemoteSigned

接下来我们使用以下命令更新pip以及安装所需要的一些依赖库。

python -m pip install --upgrade pip

pip install wheel setuptools

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 转换模型

python convert.py --model_id THUDM/chatglm3-6b --output {your_path}/chatglm3-6b 

1. –model_id - 用于从 Huggngface_hub (https://huggingface.co/models) 或 模型所在目录的路径（绝对路径）。

2. –output - 转换后模型保存的地址

如果访问huggingface 有困难，可以尝试使用 mirror-hf 进行下载.

# LINUX
export HF_ENDPOINT=https://hf-mirror.com
# Windows Powershell
$env:HF_ENDPOINT = "https://hf-mirror.com"

Download model

huggingface-cli download --resume-download --local-dir-use-symlinks False THUDM/chatglm3-6b --local-dir {your_path}/chatglm3-6b 

3. 量化模型（非必须）

python quantize.py --model_path {your_path}/chatglm3-6b --precision int4 --output {your_path}/chatglm3-6b-int4

1. –model_path - OpenVINO IR 模型所在目录的路径。
2. – precision - 量化精度：int8 或 int4。
3. –output - 保存模型的路径。
   

4. 运行流式聊天机器人

python chat.py --model_path {your_path}/chatglm3-6b --max_sequence_length 4096 --device CPU

1. –model_path - OpenVINO IR 模型所在目录的路径。
2. –max_sequence_length - 输出标记的最大大小。
3. –device - 运行推理的设备。例如：“CPU”,“GPU”。