langchain ChatGPT AI私有知识库

企业知识库

原理就是把文档变为向量数据库，然后搜索向量数据库，把相似的数据和问题作为prompt，
输入到大模型，再利用GPT强大的自然语言处理、推理和分析等方面的能力将答案返回给用户

什么是langchain?

langchain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互，将多个组件链接在一起，并集成额外的资源，例如 API 和数据库。

AI私有知识库

一种利用langchain思想实现的基于本地知识库的问答应用

详细流程实现：

文档的处理：

1. 本地文档 进行加载获取到text文字内容
2. 将获取的text进行切割分段（一般是采用文字500字切割，且上下文档有关联100字）
3. 分段segment进行向量化存储到向量存储中

query查询的处理

1. 对提问的问题query进行向量化embedding
2. 查询向量存储匹配的文档（一般有相似度的查询与设置，比较好用）
3. 查询的文档与问题、历史记录等组成prompt
4. prompt（一般会设置中文化且设置回答等限制）请求LLM大模型
5. 最终返回结果给用户

最后最终方案

本人和公司都是Java系的开发，但langchain是python的框架，最后采用了如下的方案：…
麻蛋，还得给它改python代码 （头皮发麻）

Azure AI 是微软的一个python开源解决方案,但我们是Java体系，便只使用azure AI LLM大模型的功能，和向量embedding的存储，提问查询功能，其他的功能都采用Java来实现，如对象存储、文档加载、文档切割、格式转化等等