仗键走天涯

Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama2。配置说明，该脚本会同时安装docker服务和ollama服务，所以用户不需要提前准备docker环境，如果客户服务器上已经有docker服务，则可把最后面的install_docker 调用注释掉即可。命令操作的确简单，但是官网上下载有个问题，就是网络传输的问题，有时远程下载会很慢，经常导致下载失败。查看当前容器运行的服务列表。

本章节主要介绍如何在Linux上搭建QAnything实现本地AI服务能力，关于QAnything的相关介绍详情请参考我的另一篇文章。这边由于是在Linux上安装的，所以选择Linux的最新版本进行下载。至此咱们的基本环境就已经准备好了，接下来我们将开始安装我们的主角QAnything。在第三方的环境中获取到openAI的apikey信息和对应的调用网址。

目前已支持格式: PDF(pdf)，Word(docx)，PPT(pptx)，XLS(xlsx)，Markdown(md)，电子邮件(eml)，TXT(txt)，图片(jpg，jpeg，png)，CSV(csv)，网页链接(html)，更多格式，敬请期待…知识库数据量大的场景下两阶段优势非常明显，如果只用一阶段embedding检索，随着数据量增大会出现检索退化的问题，如下图中绿线所示，二阶段rerank重排后能实现准确率稳定增长，即数据越多，效果越好。