如何实现远程云服务器模型部署在本地使用

远程云服务器模型部署在本地使用

1.问题说明:

在使用pycharm的ssh连接到远程云服务器时,模型已经加载成功并且出现了如下标识:
在这里插入图片描述但是我们打开本地的7080端口,发现是拒绝访问。这是什么情况?
起初我认为是代理的问题,但是我关闭代理后并无卵用。然后又重启电脑还是无效。

2.解决方案

直到我了解了我使用的命令是基于Gradio实现的。那么有以下几种解决方案(以远程云服务器打开7860端口为例):

2.1 直接访问(如果网络允许)

如果远程机器的 7860 端口对外公开,并且没有网络防火墙阻止访问,你可以直接通过远程机器的 IP 地址和端口号来访问,如 http://远程机器IP:7860。
此时设置远程云服务器的代码为
在这里插入图片描述

2.2 SSH 隧道

在你的本地主机的cmd窗口中,输入下列命令

ssh -L 本地端口:localhost:远程端口 用户名@远程机器IP

本地端口如8000(其他端口也可以,只要不发生冲突)
远程端口就是7860
用户名和IP实事求是填写即可。

界面如下:
在这里插入图片描述
接着打开localhost的8000端口(即你指定的本地端口),就可以看到你部署的模型了!
在这里插入图片描述

2.3 VPN

如果该网站是通过一个私有网络才访问的,那么可能需要挂上VPN。

That’s all.感谢!

  • 7
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
将SavedModel格式的模型部署服务器端通常需要以下步骤: 1. 安装TensorFlow Serving:TensorFlow Serving是一个专门用于部署TensorFlow模型的高性能服务器。可以使用Docker容器或直接下载二进制文件来安装TensorFlow Serving。安装后,可以使用以下命令启动TensorFlow Serving: ``` tensorflow_model_server --port=8500 --rest_api_port=8501 --model_name=<MODEL_NAME> --model_base_path=<PATH_TO_SAVEDMODEL> ``` 这里的`MODEL_NAME`是模型的名称,`PATH_TO_SAVEDMODEL`是SavedModel格式的模型所在的路径。`port`参数指定gRPC端口,`rest_api_port`参数指定REST API端口。 2. 向服务器发送推理请求:可以使用gRPC或REST API向TensorFlow Serving服务器发送推理请求。gRPC是一种高性能远程过程调用协议,适用于大规模的、高性能的推理任务。REST API则更加轻量级,适用于简单的推理任务和移动设备。可以使用各种编程语言和库来实现gRPC或REST API客户端,例如Python的gRPC和requests库。 在部署SavedModel格式的模型时,需要注意以下几点: 1. SavedModel格式的模型通常包含多个版本,每个版本都有一个唯一的版本号。在部署模型时,需要指定要使用的版本号。可以使用以下命令查看已加载的所有版本: ``` saved_model_cli show --dir <PATH_TO_SAVEDMODEL> --all ``` 2. 在向服务器发送推理请求时,需要指定模型的输入和输出张量名称。可以使用以下命令查看模型的所有输入和输出张量名称: ``` saved_model_cli show --dir <PATH_TO_SAVEDMODEL> --tag_set serve --signature_def serving_default ``` 这里的`serving_default`是模型的默认签名,可以根据模型的不同签名进行调整。 3. 在部署模型时,需要考虑模型的性能和安全性。可以使用TensorFlow Serving的一些功能来优化模型的性能和保护模型的安全性,例如模型的缓存、模型的多线程处理、模型的访问控制等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

时光诺言

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值