使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统

本文详细介绍了如何使用LM Studio和Anything LLM工具来构建和部署本地知识库。文中首先解释了安装和配置大模型的步骤，随后展示了如何将模型部署为后台服务，并通过API进行调用。此外，文章还涉及了如何使用这些工具快速构建知识库应用，包括知识库的配置和问答系统的设置。整个过程强调了无需深厚编程知识即可实现快速部署和使用，适合业务专家和产品设计人员使用。

业务背景

最近一直在寻找一套最佳的基于大模型的知识库系统解决方案，需要具有如下能力：

1. 能够快速将大型模型进行本地化的部署使用。

2. 结合大语言模型，能有一套良好的知识库系统，方便使用。

3. 针对业务专家和产品设计人员，即使不懂代码，也能快速构建产品原型，了解基于大型模型知识体系的构建过程，并能选型大语言模型。

4. 针对算法人员，“套壳”大模型或微调大模型，可通过一款工具完成本地化的快速部署和分发，而不需要自己单独写一个服务。

5. 针对开发人员，可将算法开发好的模型快速构建成后台服务，且为OpenAI标准的服务API，能让开发团队快速进行大型模型的接入测试和验证。

6. 针对测试人员，可以在构建的大型模型和知识库问答应用中进行快速测试，并跟踪各个环节的结果，如embedding的召回结果是否覆盖所有知识点，可通过接口调用日志进行快速查看。

7. 针对甲方的企业要快速验证知识库项目的可行性，可以使用这两个工具搭建本地的测试环境。这样可以对一些关键技术进行全流程化的跟踪调试，待验证没有问题再进行立项或系统的集成。

最终选择了LM studio + Anything LLM搭建本地知识库。

LM Studio安装部署及使用

安装

LM Studio是一款桌面软件，安装后，经过简单的配置即可使用。登录https://lmstudio.ai/ 即可看到如下界面，按自己的操作系统进行下载即可。

​

安装完成之后，登录系统的主界面如下图所，可以看到其默认界面如下：

​

安装完成！！！

下载和管理大模型

在LMs studio的首页即提供了大模型列表及搜索能力，可以从hugging Face上获取支持的大模型列表，并可以通过搜索获取关注的大模型。如下图搜索最近也比较火的Mistral：