一、前言
可靠性是保证软件和系统正常运行、数据完整性、用户信任和满意度的关键要素。通过提高可靠性,可以降低业务中断的风险,增强用户信心,并减少故障排除和维护的成本,从而对组织的成功和效益产生积极影响。
Supervisor是一种可以帮助管理和监控后台进程的工具,它可以自动重启崩溃的进程,并且可以在进程停止后自动启动它们。
二、前置知识
2.1. 了解如何启动vllm服务
python -m vllm.entrypoints.api_server --model /data/model/qwen-7b-chat --swap-space 24 --disable-log-requests --trust-remote-code --max-num-seqs 256 --host 0.0.0.0 --port 9000 --dtype float16 --max-parallel-loading-workers 1 --enforce-eager
需要注意
- 显存不够的情况,max-parallel-loading-workers设置为1,同时根据显卡支持的类型,按实际情况设置dtype,当前显卡是Tesla V100-SXM2-32GB,加载qwen-7b-chat,需要约27G的显存
- 内存不够的情况,需要根据实际情况设置swap-space
2.2. 了解如何启动gunicorn服务
gunicorn --worker-class=gthread --workers 1