v_wus的博客

注1：server_config.py的FSCHAT_MODEL_WORKERS字典中也增加了相关配置，如有需要也可通过修改FSCHAT_MODEL_WORKERS字典中对应参数实现多卡加载，且需注意server_config.py的配置会覆盖create_model_worker_app 函数的配置。.py的配置会覆盖create_model_worker_app 函数的配置。，但是实际使用时可根据自己的需求进行模型下载。控制使用的显卡的ID，例如 “0,1”;这里是参考官方文档下载的LLM 模型。

零一万物官网：https://www.lingyiwanwu.com/