公网算力服务器(AutoDL)部署服务并映射端口相关记录

背景信息介绍
        项目中需要使用一些AI能力,诸如当下比较流行的大语言模型、自回归TTS模型、OCR模型等服务,在本地服务器(4090*2)的环境下通过conda进行隔离后成功调用后,需要提供公网环境的调用能力。但是受限于企业或个人的体量和能力不同,目前负担不了阿里云等主流云服务器的算力环境(主要就是贵...)于是找到了平民玩家聚集地AutoDL,于是开始4090单卡包月开启!
    
------------背景介绍完毕,接下来上菜!------------
1.配置信息:
GPU:RTX 4090(24GB) * 1
CPU:16 vCPU Intel(R) Xeon(R) Gold 6430
内存:120GB
硬盘:系统盘:30 GB
数据盘:免费:50GB   付费:50GB
计费方式:包年包月
**(这里不得不吐槽一句!你这系统盘就给30G!稍不留神第一次装就给conda装系统盘里了直接爆表!)**
2.镜像:

        目前试过社区里的各个镜像都不太顺心,然后开的是个基本的ubuntu环境,然后自己一个一个装各种服务。
3.服务名称:

  1. 千问2.5-7B
  2. GPT-SoVits
  3. Paddle-OCR
  4. Vllm推理模型框架
  5. FunASR服务

4.服务部署步骤(内容太多有空了更新)

5.端口开发

        上述3操作中的各种服务启动后均在127.0.0.1服务创建了对应的端口号,我们通过SSH命令,使用外部公网服务器(这里是腾讯云服务器)打开CMD窗口后,执行对应端口号的命令,然后输入autoDL服务器的密码,校验通过后CMD窗口内不会出现任何提示消息即表示映射成功。

如:ssh -CNg -L 8003:0.0.0.0:8003 root@connect.bjb1.seetacloud.com -p 34827

上述命令表明我在本地的环境下监听了8003的端口,并且指定0.0.0.0这样外部服务可以通过域名或IP调通服务。

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值