langchain-chatchat或者说fastchat启动访问404的问题

虽然很白痴,但是我还是记录一下我遇到的问题。

1.问题

最近想测试看看langchain的本地知识库效果,看到一个很完备的库,就是lanchain-chatchat。但是我启动了项目后进行对话回答是乱码的。
在这里插入图片描述
经过我的排查,问题不出在webui层,而是出现在fastchat启动层。
我发现,我访问fastchat的api都会返回404 Not Found
在这里插入图片描述

2.fastchat启动测试

我测试了一下直接用fastchat启动

https://github.com/lm-sys/FastChat

webui版本

中间巴拉巴拉讲了一大堆,其实指令从后面的Serving with Web GUI章节开始

第一步:启动控制器,因为fastchat允许你选择多个模型,比如你配置一个openapi+一个本地chatglm2,所以他有一个控制器作为主控。

python3 -m fastchat.serve.controller

第二步:启动模型运行进程,会自动注册到控制器上。

python3 -m fastchat.serve.model_worker --model-path 模型文件路径

第三步:

python3 -m fastchat.serve.gradio_web_server

命令行版:

上面的worker需要配合api调用才能访问,你也可以先试试明令行对话。

python -m fastchat.serve.cli --model-path S:\knowledge_base\chatglm2_6b\chatglm2-6b

在这里插入图片描述
明明我命令行版是可以启动的,但是用model_worker出现的问题和chatchat里面是一样的,究竟问题出在哪里呢?

windows系统的问题

我仔细研究了一下当时看到的那个大佬的文章

https://zhuanlan.zhihu.com/p/651189680

在这里插入图片描述
我发现在环境准备里面有讲到wsl2,看来应该是windows的字符集的问题,需要切换到linux子系统下才能运行。
在根据教程安装好,就可以用了,也就是说fastchat目前不能运行在windows的系统上,还请给位小伙伴注意。

在这里插入图片描述
虽然他还是not found
在这里插入图片描述

PS

1.ubuntu系统下激活venv环境使用命令

source ./ubuntu_venv/bin/activate

2.windows系统下激活venv环境使用命令

.\venv\Scripts\activate

注意前面差一个source

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值