Langchain-Chatchat部署总结
注1:server_config.py的FSCHAT_MODEL_WORKERS字典中也增加了相关配置,如有需要也可通过修改FSCHAT_MODEL_WORKERS字典中对应参数实现多卡加载,且需注意server_config.py的配置会覆盖create_model_worker_app 函数的配置。.py的配置会覆盖create_model_worker_app 函数的配置。,但是实际使用时可根据自己的需求进行模型下载。控制使用的显卡的ID,例如 “0,1”;这里是参考官方文档下载的LLM 模型。




