- 博客(1)
- 收藏
- 关注
转载 如何在本地部署LLM并调用api进行大模型推理
到这里,api就部署好了,可以通过下面的代码,验证是否部署成功(确保安装了openai)b:启动模型工作器,等待进程加载模型完成(图中是glm3,但是不影响)看到"Uvicorn running on ..."的提示就ok。下载完成之后进入FastChat文件夹,升级pip及安装依赖。注:以上命令均在pycharm里的Terminal配置。c:最后,启动 RESTful API 服务器。可以使用下面代码来测试下载的cuda是否可用。设置 OpenAI API 密钥。去魔塔社区将模型下载到本地。
2024-03-31 17:08:17
3349
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人