OLLAMA部署qwen:7b,与fastgpt集成
它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,例如 Llama 2。这里使用的是4.6.8的版本,这里是从github上拉了分支,直接部署在操作系统上的,如果是docker安装,那么请修改对应映射出来的config.local.json,然后重启fastgpt容器即可。注:本文章默认之前fastgpt都已经配置好了,这次只是新增一个qwen:7b的模型对接。在渠道清单中,点击刚才创建的渠道条目的“测试”按钮,如果配置没问题,那么测试可以通过。
原创
2024-04-18 16:31:04 ·
2397 阅读 ·
1 评论