weixin_51331851的博客

原创 Llama 3 Web Demo 部署、 XTuner 微调、LMDeploy部署 Llama 3 模型

server-name和server-port表示API服务器的服务IP与服务端口；通过运行以上指令，我们成功启动了API服务器，请勿关闭该窗口，后面我们要新建客户端连接该服务。你也可以直接打开http://{host}:23333查看接口的具体使用说明，如下图所示。然后打开浏览器，访问http://127.0.0.1:23333。ssh 端口号就是下面图片里的 47712，请替换为你自己的。打开浏览器，访问地址http://127.0.0.1:6006。运行后，可以通过命令行窗口直接与模型对话。