虽然很白痴,但是我还是记录一下我遇到的问题。
1.问题
最近想测试看看langchain的本地知识库效果,看到一个很完备的库,就是lanchain-chatchat。但是我启动了项目后进行对话回答是乱码的。
经过我的排查,问题不出在webui层,而是出现在fastchat启动层。
我发现,我访问fastchat的api都会返回404 Not Found
2.fastchat启动测试
我测试了一下直接用fastchat启动
https://github.com/lm-sys/FastChat
webui版本
中间巴拉巴拉讲了一大堆,其实指令从后面的Serving with Web GUI章节开始
第一步:启动控制器,因为fastchat允许你选择多个模型,比如你配置一个openapi+一个本地chatglm2,所以他有一个控制器作为主控。
python3 -m fastchat.serve.controller
第二步:启动模型运行进程,会自动注册到控制器上。
python3 -m fastchat.serve.model_worker --model-path 模型文件路径
第三步:
python3 -m fastchat.serve.gradio_web_server
命令行版:
上面的worker需要配合api调用才能访问,你也可以先试试明令行对话。
python -m fastchat.serve.cli --model-path S:\knowledge_base\chatglm2_6b\chatglm2-6b
明明我命令行版是可以启动的,但是用model_worker出现的问题和chatchat里面是一样的,究竟问题出在哪里呢?
windows系统的问题
我仔细研究了一下当时看到的那个大佬的文章
https://zhuanlan.zhihu.com/p/651189680
我发现在环境准备里面有讲到wsl2,看来应该是windows的字符集的问题,需要切换到linux子系统下才能运行。
在根据教程安装好,就可以用了,也就是说fastchat目前不能运行在windows的系统上,还请给位小伙伴注意。
虽然他还是not found
PS
1.ubuntu系统下激活venv环境使用命令
source ./ubuntu_venv/bin/activate
2.windows系统下激活venv环境使用命令
.\venv\Scripts\activate
注意前面差一个source