1、需要把开源模型下载到本地(linux服务器),当前以AutoDL平台为例;并运行大模型Meta-Llama-3-8B,可参考利用vLLM进行开源大模型本地部署(待继续刷新)-CSDN博客
注意:由于autodl对于个人用户有限制,不能使用https及http服务;因此服务启动后,要在本机主机上创建一个 SSH 隧道,将本地端口 6006 映射到远程主机的端口 6006 上,然后通过localhost:6006去访问;具体映射操作如下:
在autodl对应的实例下,点击自定义服务,
然后再按如下提升进行操作即可:
2、然后修改MetaGPT相关的config2.yml文件,本例中修改C:\Users\username\.metagpt\文件夹下的该文件;把文件中其他内容注释掉,然后添加如下内容:(如果是自有linux机器,注意更改base_url、model路径)
llm:
#api_type: 'ollama'
base_url: 'http://localhost:6006/v1'
model: '/root/autodl-tmp/Meta-Llama-3-8B'
REPAIR_LLM_OUTPUT: true
3、通过MetaGPT可以进行对应的命令操作
备注:上述操作可以正常连接到本地开源大模型。在验证过程中,Meta-llama-3-8b的最大上下文长度是8192,导致MetaGPT执行任务失败。需要更换能接收更大长度的模型,待继续验证本地模型的可用性。