1. 简介
2. 实现方案
2.1. docker部署
# 拉取docker镜像
git clone -b r23.10 https://github.com/triton-inference-server/server.git
cd server/docs/examples
./fetch_models.sh
# 建立模型仓库目录
mkdir -p /data/triton/model_repository
# 构建个人的自定义模型
# 更多模型结构实例参考:https://github.com/triton-inference-server/tutorials/tree/main/HuggingFace
model_repository/
|-- model_name
| |-- 1
| | `-- model.py
| `-- config.pbtxt
# 千问模型的triton配置:
# config.pbtxt使用自定义的python环境
parameters: {
key: "EXECUTION_ENV_PATH",
value: {string_value: "$$TRITON_MODEL_DIRECTORY/llm"}
}
# conda环境打包,存放位置和config.pbtxt同级别目录:
conda pack -n llm --ignore-editable-packages
# 启动服务
docker run -it --gpus='"device=0,1"' --rm --net=bridge \
--name chatstore \
-p18000:8000 -p18001:8001 -p18002:8002 \
-v /data/jupyter/LLM:/workspace \
-v /data/triton/model_repository:/models \
nvcr.io/nvidia/tritonserver:23.09-py3 \
bash -c "export PYTHONIOENCODING=UTF-8 && tritonserver --model-repository=/models "
2.2. 踩坑问题
- docker启动要用bridge模型,默认host模式会让端口映射失效;
- tritonserver启动时,要加export PYTHONIOENCODING=UTF-8,不然会导致中文格式乱码;
- mode.py文件中启动qwen如果开启use_cache_quantization和use_cache_kernel需要cache_autogptq_cuda_*,使用os将文件迁移到文件目录(测试时,对面模型目录已存在但是没用)
os.system("cp -r /workspace/models/Qwen-14B-Chat-Int4-hf/cache_autogptq_cuda_* ./")
- qwen的模型batch推理请参考官方:https://github.com/QwenLM/Qwen/blob/main/README_CN.md#batch%E6%8E%A8%E7%90%86
- qwen的kv cache是时间换空间的思路,与平常理解的kv cache空间换时间不太一样,所以关掉qwen的kv cache可以加速。