OpenXLab浦源 - 应用中心,使用还是非常简单。
上传了一本AI书籍,
进行了测试,我以为可以进行上传文档总结,看来不支持,只是做问题的向量匹配,融合为prompts一起发给llm,
问问和上传的pdf有关的问题,
因为上传的文档内容比较短,终于问到了一个命中文档的问题,
问了一个相关文档的中文问题,文档是英文的,识别正常,
可以看到,如果命中文档,会有提示参考自哪里,如果没有关联性,会提示不是问题等等,使用不复杂,接下来进行本地服务器部署茴香豆的测试,(配置文档,HuixiangDou/web at main · InternLM/HuixiangDou · GitHub)
注意修改换环境变量的时候,其中测试大概率不会配置域名和证书,需要将 `export COOKIE_SECURE=1` 替换为 `unset COOKIE_SECURE`,否则登录的时候会报错,部署nodejs的时候需要注意版本,
版本太低,需要更新,更新后正常,
克隆代码到本地,进行编译,
尴尬了,装到pytorch的时候才想起来,我这台华为云的服务器没有gpu,这个实验还只能在书生浦语的平台上做了,
需要开设一台24GB显存的机器,中间过程按照文档一步步走就ok了,
运行gradio测试网页模式,
感觉默认的本地模型不太聪明,之后可以换一个外部api试试。