MiniGPT4系列之三模型推理 (Web UI)：在RTX-3090 Ubuntu服务器推理

seaside2003

已于 2023-07-15 12:09:41 修改

阅读量1.2k

点赞数

文章标签： ubuntu 大模型 MiniGPT4

于 2023-07-15 12:05:29 首次发布

本文链接：https://blog.csdn.net/qq_18256855/article/details/131737450

版权

切换到，FastChat目录下，执行以下命令：

python3 -m fastchat.serve.controller

虽然出现ERROR，但后面经验证毫无影响，不要担心。

新开一个窗口，执行以下命令，当进程完成模型的加载后，会看到「Uvicorn running on ...」，下面也有一些ERROR，无需理会：

python3 -m fastchat.serve.model_worker --model-name 'vicuna-7b-v1.1' --model-path /home/train/mycharm/new/vicuna

再新开一个窗口，执行以下命令，出现一行字就结束了：

python3 -m fastchat.serve.test_message --model-name vicuna-7b-v1.1

在此窗口内，执行以下命令，有些ERROR，不用管：

python3 -m fastchat.serve.gradio_web_server

此时可以在服务器上访问这个地址就可以，但服务器通常没有界面，需要做个映射

再新开一个窗口，执行以下命令：

sudo iptables -t nat -A PREROUTING -p tcp --dport 8080 -j REDIRECT --to-port 7860

再执行：

sudo service iptables save

下面就是见证奇迹的时刻了，你可以打开浏览器和模型聊天了。可以在通过内网IP地址:端口号访问服务了，具体地址和端口号要根据自己的设置修改。

成功运行后界面如下图所示，可以正常对话了：

成功返回内容后，三个窗口响应请求的情况：

GPU资源消耗情况：

至此，已完成除训练外的所有工作，congratulations！

最后提一下，这个帖子，写的也还可以，可以参考：

在执行：python3 -m fastchat.serve.controller时出现以下错误：

ERROR:[Errno 98] error while attempting to bind on address ('127.0.0.1', 21001): address already in use

主要是端口占用，需要找到该端口对应的pid，kill掉即可

执行以下命令：

sudo netstat -tunlp

可以看出21001端口对应的pid为810758

执行以下命令：

sudo kill -9 810758

然后再次运行就会成功：

python3 -m fastchat.serve.controller

关注