基于开源大模型快速构建本地知识库应用

【摘要】作为新一代人工智能产业的核心动力，AI大模型广泛应用于各行各业，打开了迈向通用人工智能的大门。本文通过大模型相关技术背景、构建需求、实现原理、模型选型及工程实践等方面介绍了如何基于开源大模型快速构建本地知识库应用。通过分析大模型应用的存在的问题，提出并详细描述了知识库构建思路及RAG技术路线应用的解决方法，最后，基于LangChain-Chatchat工程实现，为快速构建本地知识库应用提供了一种有效的解决方案。

1. 知识库构建需求

1.1. 大模型应用及问题

自ChatGPT面世以来，大语言模型技术凭借其记忆、推理、逻辑理解、内容及代码生成等能力在人工智能应用场景中越来越重要。大模型的通用性和泛化能力也逐渐成为了赋能各行各业变革创新的关键，而大模型应用过程中也存在缺乏专业知识、出现幻觉信息、数据时效延迟等问题，如处理需要特定领域专业知识的任务时大语言模型可能表现不佳，在生成结果时出现偏离事实的内容信息或给出已经过时的答案等。

针对以上问题，目前可以通过预训练、模型微调和外挂知识库等方式进行优化和改善，其中使用预训练和模型微调，均会涉及较高的计算资源和时间消耗，产生训练成本的同时，知识信息无法在模型内进行及时更新。而外挂知识库是一种低成本的实现方式，能够通过利用本地专业知识，将高质量的数据信息加工为知识库，再由大模型完成检索召回与总结生成&#