本博客旨在记录如何在本机上连接调用服务器大模型。
Secure Shell(SSH) 是由 IETF(The Internet Engineering Task Force) 制定的建立在应用层基础上的安全网络协议。它是专为远程登录会话(甚至可以用Windows远程登录Linux服务器进行文件互传)和其他网络服务提供安全性的协议,可有效弥补网络中的漏洞。
我们采用ssh来链接,首先服务器运行webdemo.py,具体参考我们小组成员博客
我们随便开一个终端,ssh建立的是两个机器之间的连接,不需要进入虚拟环境
ssh -CNg -L 6007:127.0.0.1:6007 root@i-1.gpushare.com -p 33315
这里的6007是服务器端启动webdemo的端口号,33315也是端口。
之后输入密码,没有反应就是连接成功了(连接不成功会报错)
之后浏览器访问
就可以在本地使用大模型服务了。
如果遇到问问题报错显存不足,可以点clear来清空。