之前5月份写过用autodl镜像一键安装langchain-ChatGLM,过了5个月,原来开发团队已经升级好几个版本,支持国内外各种基座模型,特别强调了国产的通义千问。模型的服务接口框架也变了,总之新功能很多,我抽时间安装了一下,记录一下过程。防止大家踩坑。
一、创建服务器
还是登录autodl申请实例,最近autodl加了好多4090显卡,而且涨价了,以前便宜的A5000很少了。
因为面对的是小白或者只想试用体验的用户,就不从基本框架安装了,如果想用在生产环境,建议从头安装,官网有文档:
这里创建的时候选择最新的社区镜像,是2023年10月4日,最新的模型!
点击创建以后,等1分钟左右,下图红框里出现内容的时候才算创建成功
这里说一下,autodl最近修改的外网访问限制,有些地区的服务器必须企业认证才能外网访问,其他地区也不能通过自定义服务给的外网链接直接访问了,需要做ssh隧道访问,比较麻烦
二、登录启动服务
然后就是登录服务器,两种方式,三方软件登录不说了,简单的就是直接用它的jupyterlab:
点击终端
然后在终端执行三条命令,非常简单:
$cd /root/Langchain-Chatchat/
$conda activate /root/pyenv
$python startup.py -a
执行最后一条命令,看到下图的提示,就代表启动成功了!
注意这里加载模型进度条
完成了
到这里,之前,直接用autodl面板里的自定义服务的链接可以直接访问了,但是会出现以下页面:
经过群里的朋友解答,autodl做了限制,必须用ssh隧道方式访问,方法如下:
这玩意比较麻烦,相当于把本地端口绑定到服务器端口做映射。而且会暴露账号
注意这个窗口缩小,别关,要不就断了!如果嫌麻烦群里哥们写了个window小工具,有需求自取吧
https://autodl-public.ks3-cn-beijing.ksyuncs.com/tool/AutoDL-SSH-Tools.zip
使用方式如图:
最后在浏览器里访问:
至此,就基本搭建完成,可以体验了
三、体验服务
还是调戏一下模型,注意左边红框选择LL对话,不然默认知识库问答
哈哈,还是熟悉的味道,没办法,底座模型没变,只是外围框架接口改变了
试了一下知识库问答
上传了这篇文章:
结果如下:
准确性和速度非常快,服务器负载也不高,而且对边界控制很好,不知道就不回答
四、结论
好了,就体验到这里,总之性能和准确度很高,值得尝试!