Python+LLM实战：LangChain本地AI知识库搭建全攻略

一、引言

在信息爆炸的时代，知识的获取与管理变得愈发重要。对于企业和个人而言，拥有一个高效、智能的知识库，能显著提升工作效率、辅助决策，甚至激发创新思维。而随着大语言模型（LLM）技术的飞速发展，搭建本地 AI 知识库成为了可能，它不仅能让我们充分利用海量的本地数据，还能在保障数据安全的前提下，实现智能化的知识检索与问答。

Python，作为一门简洁、高效且拥有丰富库资源的编程语言，在 AI 开发领域占据着举足轻重的地位。它提供了强大的数据处理、分析能力，以及与各种机器学习、深度学习框架的无缝对接，为搭建 AI 知识库奠定了坚实的基础。

LangChain，则是一个专门用于构建基于大语言模型应用的框架，它就像是一座桥梁，连接了大语言模型与外部数据，使得开发者能够轻松地利用大语言模型的强大能力，实现诸如智能问答、文本摘要、信息检索等复杂功能。通过 LangChain，我们可以快速搭建起一个功能完备的本地 AI 知识库，将大语言模型的智能与本地数据的价值完美融合。

接下来，就让我们一起深入探索如何使用 Python 和 LangChain，快速搭建属于自己的本地 AI 知识库吧！

二、技术背景

2.1 Python 与 LLM 的融合潜力

Python 在人工智能领域犹如一把万能钥匙，凭借其简洁优雅的语法、丰富强大的库资源，成为了众多开发者的首选语言。在数据处理与分析方面，Python 拥有 NumPy、Pandas 等库，能够高效地处理和分析大规模数据，为 LLM 提供高质量的数据支持。例如，Pandas 可以轻松地读取、清洗和预处理各种格式的数据，将原始数据转化为适合模型训练和应用的形式。

在机器学习与深度学习框架集成上，Python 与 TensorFlow、PyTorch 等主流框架无缝对接，使得开发者可以利用这些框架强大的计算能力和丰富的模型库，进行 LLM 的训练、优化和部署。以 PyTorch 为例，它提供了动态图机制，让开发者能够更加灵活地构建和调试模型，与 Python 的交互也更加自然流畅。

Python 丰富的生态系统还包含了大量用于自然语言处理的库，如 NLTK、spaCy 等，这些库为 LLM 在文本处理、语义理解等方面提供了有力的支持。比如，NLTK 提供了各种文本处理工具，包括分词、词性标注、命名实体识别等，能够帮助 LLM 更好地理解和处理自然语言文本。通过与这些库的结合，LLM 能够实现更复杂、更智能的自然语言处理任务，如智能问答、文本摘要、机器翻译等。

2.2 LangChain 框架解析

LangChain 是一个专门为构建基于大语言模型应用而设计的框架，它就像是一个智能的 “粘合剂”，将大语言模型与各种外部数据和工具连接起来，为开发者提供了一个高效、灵活的开发平台。

LangChain 的基本概念围绕着几个核心组件展开。首先是模型（Models），它支持多种主流的大语言模型，无论是 OpenAI 的 GPT 系列，还是开源的 LLaMA、Alpaca 等模型，都能通过 LangChain 轻松集成到应用中。这使得开发者可以根据项目的需求和预算，选择最合适的模型，而无需担心模型接口的差异。

提示（Prompts）管理是 LangChain 的另一大特色。它提供了强大的提示模板和优化工具，帮助开发者更好地引导大语言模型生成准确、有用的回复。通过精心设计的提示模板，可以控制模型的输出风格、内容重点等。例如，在构建智能客服应用时，可以使用提示模板引导模型以专业、友好的语气回答用户问题。

链（Chains）是 LangChain 中用于将多个组件按特定顺序组合起来执行复杂任务的机制。它可以串联不同的操作，形成一个完整的处理流程。比如，在问答系统中，链可以将用户的问题首先传递给检索模块，从知识库中获取相关信息，然后将这些信息与问题一起作为提示传递给大语言模型，最后由模型生成答案返回给用户。

索引（Indexes）模块则允许 LangChain 与外部数据存储进行交互，将外部数据与大语言模型的能力结合起来。通过索引，模型可以访问和利用各种数据源，如数据库、文件系统等，从而扩展模型的知识范围，使其能够回答更广泛的问题。

LangChain 的优势不仅在于其丰富的功能组件，还在于它提供了统一的接口和简单易用的 API，使得开发者能够快速搭建复杂的大语言模型应用，而无需深入了解每个组件的底层实现细节。它大大降低了开发门槛，提高了开发效率，让更多的开发者能够利用大语言模型的强大能力，创造出具有创新性的应用。

三、准备工作

3.1 环境搭建

在搭建本地 AI 知识库之前，我们首先需要确保 Python 环境的正确安装与配置。建议安装 Python 3.10 及以上版本，因为这些版本提供了更好的性能和对新特性的支持。

• 下载 Python 安装包：

1. 1. 打开浏览器，访问 Python 官方网站：https://www.python.org/downloads/。

1. 1. 在下载页面中，根据您的操作系统选择对应的下载链接。例如，对于 Windows 用户，选择 “Windows” 选项，然后点击 “Windows x86-64 executable installer”（64 位系统）或 “Windows x86 executable installer”（32 位系统）进行下载。对于 macOS 用户，选择 “macOS” 选项，下载适用于您系统的安装包。

• 安装 Python：

1. 1. 下载完成后，双击安装包开始安装。在安装向导的第一个界面中，勾选 “Add Python 3.10 to PATH” 选项，这样可以自动将 Python 添加到系统环境变量中，方便后续在命令行中直接使用 Python 命令。如果您希望自定义安装路径，可以点击 “Customize installation” 进行详细设置。

1. 1. 点击 “Install Now” 按钮，开始安装 Python。安装过程可能需要一些时间，请耐心等待。

1. 1. 安装完成后，点击 “Close” 关闭安装向导。

• 配置环境变量（可选，若安装时已勾选自动添加则可跳过）：

• • Windows 系统：

1. 1. 1. 右键点击 “此电脑”，选择 “属性”。

1. 1. 1. 在弹出的窗口中，点击 “高级系统设置”。

1. 1. 1. 在系统属性窗口中，点击 “环境变量” 按钮。

1. 1. 1. 在 “系统变量” 列表中，找到 “Path” 变量，点击 “编辑”。

1. 1. 1. 在编辑环境变量窗口中，点击 “新建”，然后输入 Python 的安装路径，例如 “C:\Python310”（如果您安装时选择了自定义路径，请输入对应的路径）。再新建一行，输入 “C:\Python310\Scripts”，这是 pip 工具所在的路径，确保能够在命令行中使用 pip 安装和管理 Python 包。

1. 1. 1. 点击 “确定” 保存更改，关闭所有打开的窗口。

• • macOS 系统：

nano ~/.bash_profile

export PATH="/Library/Frameworks/Python.framework/Versions/3.10/bin:$PATH"

export PATH="/Library/Frameworks/Python.framework/Versions/3.10/bin/pip3:$PATH"

注意：如果您安装时选择了自定义路径，请根据实际路径进行修改。

4. 按下 “Ctrl + X”，然后按下 “Y”，最后按下 “Enter” 保存并退出。

5. 输入以下命令使配置生效：

source ~/.bash_profile

1. 1. 1. 打开 “终端” 应用程序。

1. 1. 1. 输入以下命令，编辑 bash 配置文件（如果您使用的是 zsh，编辑.zshrc 文件）：

1. 1. 1. 在文件末尾添加以下两行，将 Python 的安装路径添加到环境变量中：

• 验证 Python 安装：

1. 1. 打开命令提示符（Windows）或终端（macOS/Linux）。

1. 1. 输入 “python --version” 命令，如果显示 Python 的版本号，例如 “Python 3.10.11”，则表示 Python 已成功安装。

1. 1. 输入 “pip --version” 命令，验证 pip 工具是否安装成功。如果显示 pip 的版本号，例如 “pip 23.2.1 from C:\Python310\lib\site-packages\pip (python 3.10)”，则表示 pip 安装正常。

3.2 安装 LangChain 及相关依赖

安装好 Python 环境后，接下来我们需要安装 LangChain 及其相关依赖库，这些库将为我们搭建本地 AI 知识库提供必要的支持。

• 安装 LangChain：

打开命令提示符或终端，输入以下命令，使用 pip 安装 LangChain：

pip install langchain

安装过程中，pip 会自动下载并安装 LangChain 及其依赖项。请耐心等待，直到安装完成。

• 安装 OpenAI 库：

LangChain 通常会与 OpenAI 的大语言模型配合使用，因此我们需要安装 OpenAI 库来进行模型的调用。在命令行中输入以下命令安装 OpenAI 库：

pip install openai

安装完成后，您可以通过设置环境变量 “OPENAI_API_KEY” 来配置 OpenAI 的 API Key，以便在代码中调用模型。

• 安装 chromadb：

chromadb 是一个轻量级的向量数据库，用于存储和检索文本的向量表示。在搭建本地 AI 知识库时，我们可以使用 chromadb 来存储文档的向量，以便快速检索相关信息。在命令行中输入以下命令安装 chromadb：

pip install chromadb

• 安装 tiktoken：

tiktoken 是 OpenAI 开发的一个用于处理文本编码和解码的库，它可以将文本转换为模型能够处理的 token 序列。在使用 OpenAI 模型时，tiktoken 是一个重要的依赖库。在命令行中输入以下命令安装 tiktoken：

pip install tiktoken

3.3 获取 API Key

以使用 OpenAI 的模型为例，我们需要获取 API Key 才能在代码中调用模型。以下是获取 API Key 的步骤：

1. 注册 OpenAI 账号：

打开浏览器，访问 OpenAI 官网：https://openai.com/。点击右上角的 “Sign Up” 按钮进行注册。您可以使用 Google 账号、Microsoft 账号或邮箱进行注册。按照提示完成注册流程，包括验证邮箱和手机号等步骤。

1. 获取 API Key：

注册成功后，登录 OpenAI 账号。点击右上角的个人头像，选择 “View API keys”。在 API Keys 页面中，点击 “Create new secret key” 按钮，系统会生成一个新的 API Key。请务必妥善保存这个 Key，它是您访问 OpenAI API 的凭证，一旦丢失将无法找回。

1. 保存和使用 API Key：

• 为了安全起见，不要将 API Key 直接硬编码在代码中，建议使用环境变量来存储 API Key。在 Linux 或 macOS 系统中，可以在终端中输入以下命令设置环境变量：

export OPENAI_API_KEY='your_api_key'

在 Windows 系统中，可以通过以下步骤设置环境变量：

1. 1. 右键点击 “此电脑”，选择 “属性”。

1. 1. 点击 “高级系统设置”，然后点击 “环境变量”。

1. 1. 在 “系统变量” 中，点击 “新建”，输入变量名 “OPENAI_API_KEY”，变量值为您的 API Key。

1. 1. 点击 “确定” 保存设置。

• 在 Python 代码中，可以使用os模块来读取环境变量中的 API Key，例如：

import os

import openai

openai.api_key = os.getenv("OPENAI_API_KEY")

这样，您的 API Key 就不会暴露在代码中，提高了安全性。同时，在使用 API Key 时，要注意遵守 OpenAI 的使用条款和限制，避免因违规使用而导致账号被封禁。

四、搭建流程

4.1 数据加载

在搭建本地 AI 知识库的过程中，首先需要将本地的文本数据加载到系统中，以便后续的处理和分析。LangChain 提供了丰富的 loader 组件，使得数据加载变得简单高效。

常用的数据加载器有很多，不同的加载器适用于不同的文件格式和数据源。例如，TextLoader专门用于加载纯文本文件，它可以轻松地读取.txt文件的内容，并将其转换为 LangChain 能够处理的文档对象。使用示例如下：

from langchain.document_loaders import TextLoader

# 加载单个文本文件

loader = TextLoader('example.txt')

documents = loader.load()

在这个示例中，TextLoader读取了名为example.txt的文件，并将其内容存储在documents变量中，documents是一个包含文档对象的列表，每个文档对象包含了文件的内容和元数据。

PyPDFLoader则是用于加载 PDF 文件的加载器，它能够解析 PDF 文件的文本内容，并将每一页作为一个独立的文档对象返回。对于包含大量文本的 PDF 文档，如学术论文、技术报告等，PyPDFLoader非常实用。示例代码如下：

from langchain.document_loaders import PyPDFLoader

# 加载PDF文件

loader = PyPDFLoader('report.pdf')

pages = loader.load()

这里，PyPDFLoader将report.pdf文件加载为多个文档对象，每个对象对应 PDF 文件的一页，方便后续对每一页内容进行单独处理。

如果需要加载整个目录下的所有文件，可以使用DirectoryLoader。它可以递归地遍历指定目录及其子目录，根据文件的扩展名自动选择合适的加载器来加载文件。例如，加载一个包含多种文件格式的文档目录：

from langchain.document_loaders import DirectoryLoader

# 加载目录下的所有文件

loader = DirectoryLoader('documents/', glob='**/*.{txt,pdf}')

all_documents = loader.load()

上述代码中，DirectoryLoader会加载documents目录及其子目录下所有扩展名为.txt和.pdf的文件，并将它们都转换为文档对象，存储在all_documents列表中。

CSVLoader用于加载 CSV 文件，它可以将 CSV 文件中的数据解析为文档对象，方便进行数据分析和处理。对于包含结构化数据的 CSV 文件，如市场调研数据、销售记录等，CSVLoader能够快速提取其中的信息。示例如下：

from langchain.document_loaders.csv_loader import CSVLoader

# 加载CSV文件

loader = CSVLoader(file_path='data.csv')

csv_documents = loader.load()

在这个例子中，CSVLoader读取了data.csv文件，并将其内容转换为文档对象，存储在csv_documents中，后续可以对这些文档对象进行进一步的分析和处理。

4.2 文档切片

加载完文档后，由于大语言模型对输入的长度有一定限制，例如 GPT-3 模型的输入长度一般限制在几千个 token 以内，直接将整个文档传递给模型可能会导致问题。因此，需要使用文本拆分器将文档切割为指定大小的文本片段，这些片段既能包含足够的上下文信息，又能满足模型的输入要求。

LangChain 提供了多种文本拆分器，每种拆分器都有其独特的特点和适用场景。其中，RecursiveCharacterTextSplitter是一种常用的通用文本拆分器，它会根据分隔符的层次结构来拆分文本，从双换行符开始，然后是单换行符、空格，最后是单个字符。这种方式能够优先考虑段落和句子等自然边界的拆分，最大程度地保持文本的结构和连贯性。例如：

from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(

chunk_size = 1000,

chunk_overlap = 200,

length_function = len

)

split_docs = text_splitter.split_documents(documents)

在上述代码中，chunk_size参数设置了每个文本片段的最大长度为 1000 个字符，chunk_overlap参数设置了相邻片段之间的重叠长度为 200 个字符。这样，相邻的片段之间会有部分内容重叠，确保上下文信息的连续性，避免在拆分过程中丢失重要信息。length_function参数指定了计算文本长度的函数，这里使用内置的len函数。

CharacterTextSplitter是一种较为简单的拆分器，它基于单个字符分隔符（如空格或换行符）来拆分文本。在处理结构不太清晰的文本，或者需要在特定点进行文本拆分时，这个拆分器非常有用。例如：

from langchain.text_splitter import CharacterTextSplitter

text_splitter = CharacterTextSplitter(

separator = " ",

chunk_size = 500,

chunk_overlap = 50,

length_function = len

)

split_docs = text_splitter.split_documents(documents)

这里，通过设置separator参数为空格，CharacterTextSplitter会根据空格将文本拆分为指定大小的片段。chunk_size和chunk_overlap参数的含义与RecursiveCharacterTextSplitter中相同，分别控制片段的大小和重叠长度。

对于 Markdown 格式的文档，MarkdownHeaderTextSplitter能够根据标题结构来拆分文档，它会保留标题元数据在生成的片段中，方便进行上下文感知拆分和基于文档结构的下游任务。例如，在处理技术文档、博客文章等 Markdown 格式的文本时，使用这个拆分器可以更好地利用文档的结构信息：

from langchain.text_splitter import MarkdownHeaderTextSplitter

headers_to_split_on = [

("#", "Header 1"),

("##", "Header 2"),

("###", "Header 3")

]

text_splitter = MarkdownHeaderTextSplitter(headers_to_split_on=headers_to_split_on)

split_docs = text_splitter.split_text(markdown_text)

在这段代码中，headers_to_split_on参数指定了要根据哪些标题级别进行拆分，每个元素是一个元组，包含标题符号（如#、##、###）和标题名称。MarkdownHeaderTextSplitter会根据这些标题将 Markdown 文本拆分为不同的片段，每个片段包含相应的标题和其下的内容，这样在后续处理中可以更好地利用文档的层次结构。

4.3 存储到向量数据库

将文档切割成合适大小的片段后，为了实现高效的检索，需要将这些文档片段通过嵌入模型计算特征向量，并存储到向量数据库中。向量数据库能够快速地根据向量的相似度进行检索，找到与查询问题最相关的文档片段。

Chroma 是一个轻量级的向量数据库，非常适合与 LangChain 结合使用。首先，需要选择一个嵌入模型，例如 OpenAI 的嵌入模型OpenAIEmbeddings，它可以将文本转换为高维向量表示。示例代码如下：

from langchain.embeddings.openai import OpenAIEmbeddings

from langchain.vectorstores import Chroma

# 初始化OpenAI嵌入模型

embeddings = OpenAIEmbeddings()

# 将切割好的文档片段存入Chroma向量数据库

docsearch = Chroma.from_documents(split_docs, embeddings)

在上述代码中，首先创建了OpenAIEmbeddings对象embeddings，然后使用Chroma.from_documents方法将切割后的文档片段split_docs通过嵌入模型计算特征向量，并存储到 Chroma 向量数据库中。docsearch对象可以用于后续的文档检索操作。

Chroma 向量数据库支持多种相似度度量方法，如余弦相似度、欧式距离等，默认使用余弦相似度。在存储文档时，Chroma 会自动为每个文档片段生成一个唯一的 ID，并将其向量表示和相关元数据存储在数据库中。当需要查询时，Chroma 会根据输入的查询向量，在数据库中快速找到与之相似度最高的文档片段。

4.4 检索与生成

当用户提出问题时，需要根据问题从向量数据库中查询相似的文档片段，然后使用 LangChain 的 QA 链执行问答，将相关的文档片段和问题一起传递给大语言模型，生成最终的答案。

首先，使用向量数据库的检索功能，根据问题生成查询向量，并在数据库中查找最相似的文档片段。以 Chroma 向量数据库为例，可以使用以下代码进行检索：

# 根据问题检索相关文档片段

docs = docsearch.similarity_search(query)

这里，query是用户输入的问题，similarity_search方法会根据问题在 Chroma 向量数据库中进行相似度搜索，返回与问题最相关的文档片段列表docs。

然后，使用 LangChain 的 QA 链来执行问答操作。QA 链会将检索到的文档片段和问题组合成一个提示，传递给大语言模型，模型根据提示生成答案。例如，使用VectorDBQA链：

from langchain.chains import VectorDBQA

from langchain import OpenAI

# 创建问答对象

qa = VectorDBQA.from_chain_type(

llm = OpenAI(),

chain_type = "stuff",

vectorstore = docsearch,

return_source_documents = True

)

# 执行问答

result = qa({"query": query})

print(result["result"])

在这段代码中，首先通过VectorDBQA.from_chain_type方法创建了一个问答对象qa，其中llm参数指定使用 OpenAI 的大语言模型，chain_type参数设置为"stuff"，表示将所有检索到的文档片段和问题一次性传递给模型。vectorstore参数指定了之前创建的 Chroma 向量数据库对象docsearch，return_source_documents参数设置为True，表示在返回结果中包含答案所依据的源文档。然后，通过调用qa对象并传入问题query，执行问答操作，最终打印出模型生成的答案result["result"]。

通过上述步骤，我们就完成了从数据加载、文档切片、存储到向量数据库，再到检索与生成的整个本地 AI 知识库搭建流程，实现了基于本地数据的智能问答功能。

五、代码实现

5.1 完整代码示例

import os

from langchain.document_loaders import DirectoryLoader, TextLoader

from langchain.text_splitter import RecursiveCharacterTextSplitter

from langchain.embeddings.openai import OpenAIEmbeddings

from langchain.vectorstores import Chroma

from langchain.chains import RetrievalQA

from langchain import OpenAI

# 设置OpenAI API Key

os.environ["OPENAI_API_KEY"] = 'your_openai_api_key'

# 1. 数据加载

# 这里使用DirectoryLoader加载指定目录下的所有txt文件，也可以根据需要使用其他Loader

loader = DirectoryLoader('your_data_directory', glob='**/*.txt', loader_cls=TextLoader)

documents = loader.load()

# 2. 文档切片

text_splitter = RecursiveCharacterTextSplitter(

chunk_size=1000,

chunk_overlap=200,

length_function=len

)

split_docs = text_splitter.split_documents(documents)

# 3. 存储到向量数据库

embeddings = OpenAIEmbeddings()

docsearch = Chroma.from_documents(split_docs, embeddings)

# 4. 检索与生成

qa = RetrievalQA.from_chain_type(

llm=OpenAI(),

chain_type="stuff",

retriever=docsearch.as_retriever()

)

# 测试问答

query = "请提出你的问题"

result = qa.run(query)

print(result)

5.2 代码详解

1. 导入必要的库：

import os

from langchain.document_loaders import DirectoryLoader, TextLoader

from langchain.text_splitter import RecursiveCharacterTextSplitter

from langchain.embeddings.openai import OpenAIEmbeddings

from langchain.vectorstores import Chroma

from langchain.chains import RetrievalQA

from langchain import OpenAI

• os：用于操作系统相关的操作，如设置环境变量。

• DirectoryLoader和TextLoader：来自 LangChain 的文档加载器，DirectoryLoader用于加载指定目录下的文件，TextLoader用于加载文本文件。

• RecursiveCharacterTextSplitter：文本拆分器，用于将文档切割成指定大小的文本片段。

• OpenAIEmbeddings：OpenAI 的嵌入模型，用于将文本转换为向量表示。

• Chroma：向量数据库，用于存储和检索文本的向量。

• RetrievalQA：LangChain 中的问答链，用于执行问答操作。

• OpenAI：用于调用 OpenAI 的大语言模型。

1. 设置 OpenAI API Key：

os.environ["OPENAI_API_KEY"] = 'your_openai_api_key'

通过os.environ设置环境变量OPENAI_API_KEY，将其值设置为你自己的 OpenAI API Key，这样在后续调用 OpenAI 模型时，就可以进行身份验证。

1. 数据加载：

loader = DirectoryLoader('your_data_directory', glob='**/*.txt', loader_cls=TextLoader)

documents = loader.load()

• DirectoryLoader的第一个参数'your_data_directory'指定了要加载文件的目录，你需要将其替换为实际存储数据的目录路径。

• glob='**/*.txt'表示匹配指定目录及其子目录下的所有.txt文件。

• loader_cls=TextLoader指定使用TextLoader来加载文件，因为我们这里处理的是文本文件。

• loader.load()方法执行加载操作，将目录下的文件读取并转换为 LangChain 的文档对象，存储在documents列表中。

1. 文档切片：

text_splitter = RecursiveCharacterTextSplitter(

chunk_size=1000,

chunk_overlap=200,

length_function=len

)

split_docs = text_splitter.split_documents(documents)

• 创建RecursiveCharacterTextSplitter对象text_splitter，chunk_size=1000设置每个文本片段的最大长度为 1000 个字符，chunk_overlap=200设置相邻片段之间的重叠长度为 200 个字符，这样可以保证上下文的连续性。length_function=len指定使用内置的len函数来计算文本长度。

• text_splitter.split_documents(documents)方法将之前加载的文档documents按照设置的参数进行切片，返回切割后的文档片段列表split_docs。

1. 存储到向量数据库：

embeddings = OpenAIEmbeddings()

docsearch = Chroma.from_documents(split_docs, embeddings)

• OpenAIEmbeddings()创建 OpenAI 嵌入模型对象embeddings，用于将文本转换为向量。

• Chroma.from_documents(split_docs, embeddings)将切割后的文档片段split_docs通过嵌入模型embeddings计算特征向量，并存储到 Chroma 向量数据库中，返回的docsearch对象可用于后续的文档检索操作。

1. 检索与生成：

qa = RetrievalQA.from_chain_type(

llm=OpenAI(),

chain_type="stuff",

retriever=docsearch.as_retriever()

)

• 使用RetrievalQA.from_chain_type创建问答对象qa。

• llm=OpenAI()指定使用 OpenAI 的大语言模型。

• chain_type="stuff"表示将所有检索到的文档片段和问题一次性传递给模型进行处理。

• retriever=docsearch.as_retriever()指定使用 Chroma 向量数据库的检索器，用于根据问题从数据库中检索相关的文档片段。

1. 测试问答：

query = "请提出你的问题"

result = qa.run(query)

print(result)

• 定义一个测试问题query，你可以将其替换为实际想要询问的问题。

• qa.run(query)执行问答操作，将问题query传递给问答对象qa，qa会从向量数据库中检索相关文档片段，结合问题一起传递给大语言模型，最后返回模型生成的答案。

• print(result)将模型生成的答案打印输出。

六、实战演练

6.1 准备测试数据

在进行本地 AI 知识库的实战测试之前，我们需要准备一些具有代表性的本地文本数据。这些数据将作为知识库的内容，用于回答后续的测试问题。

假设我们正在搭建一个技术相关的本地 AI 知识库，我们可以收集以下类型的文本数据：

• 技术文档：例如软件产品的使用手册、开发文档、技术白皮书等。这些文档包含了关于软件功能、使用方法、技术原理等方面的详细信息。比如，我们可以收集 Python 官方文档的部分章节，如 Python 标准库的介绍文档，这些文档对于回答关于 Python 编程的问题非常有帮助。

• 学术论文：与技术领域相关的学术研究论文，涵盖了前沿的研究成果、算法创新、实验分析等内容。例如，在人工智能领域，可以收集关于深度学习算法改进的论文，这些论文能够为回答专业的学术问题提供依据。

• 行业报告：关于技术行业的市场分析、趋势预测、竞争格局等方面的报告。例如，收集关于云计算市场的年度报告，其中包含了市场规模、主要厂商、技术发展趋势等信息，对于了解行业动态和回答相关问题很有价值。

为了方便演示，我们在本地创建一个名为data的文件夹，并将上述类型的文本文件放置其中。例如，将 Python 官方文档的部分内容保存为python_official_doc.txt，将一篇关于深度学习的学术论文保存为deep_learning_paper.pdf，将云计算行业报告保存为cloud_computing_report.docx。

6.2 运行与测试

准备好测试数据后，我们就可以运行之前编写的代码来搭建本地 AI 知识库，并进行测试了。

1. 运行代码：

打开命令提示符或终端，进入存放代码文件的目录。假设我们的代码文件名为build_knowledge_base.py，在命令行中输入以下命令运行代码：

python build_knowledge_base.py

运行过程中，代码会依次执行数据加载、文档切片、存储到向量数据库以及设置问答链等操作。如果一切顺利，你将看到代码运行完成，没有报错信息。

2. 输入问题进行测试：

代码运行成功后，我们就可以输入问题进行测试了。在代码中，我们设置了一个测试问题query = "请提出你的问题"，你可以将其修改为实际想要询问的问题。例如：

query = "Python中如何使用正则表达式进行字符串匹配？"

然后再次运行代码，程序会根据这个问题从向量数据库中检索相关的文档片段，并将其与问题一起传递给大语言模型，最后输出模型生成的答案。

3. 展示可能出现的结果和问题解决方法：

• 正常结果：如果一切配置正确，并且向量数据库中存在与问题相关的文档片段，你将得到一个较为准确的答案。例如，对于上述关于 Python 正则表达式的问题，可能得到如下回答：

在Python中，可以使用`re`模块来进行正则表达式的字符串匹配。首先，需要导入`re`模块：

```python

import re

然后，使用re.search()函数来查找匹配的字符串。例如，要查找字符串中是否包含数字，可以这样写：

text = "Hello 123 World"

match = re.search(r'\d+', text)

if match:

print(match.group())

上述代码中，r'\d+'是正则表达式，\d表示匹配一个数字字符，+表示匹配前面的字符一次或多次。re.search()函数会在字符串text中查找匹配的内容，如果找到，match.group()将返回匹配的字符串。

- **可能出现的问题及解决方法**：

- **API Key错误**：如果在设置`OPENAI_API_KEY`时出现错误，例如拼写错误或者未正确设置环境变量，运行代码时会出现类似`openai.error.AuthenticationError: Incorrect API key provided`的错误提示。解决方法是仔细检查API Key的设置，确保其准确无误，并正确设置环境变量。

- **数据加载失败**：如果数据加载过程中出现问题，例如文件路径错误或者文件格式不支持，会抛出相应的异常。例如，当使用`DirectoryLoader`加载文件时，如果指定的目录不存在，会出现`FileNotFoundError`。解决方法是检查文件路径是否正确，确保文件存在，并且使用正确的加载器来处理相应的文件格式。

- **模型调用失败**：有时可能会因为网络问题或者OpenAI服务器繁忙，导致模型调用失败，出现类似`openai.error.APIError: <html>...</html>`的错误。此时，可以尝试重新运行代码，或者检查网络连接是否正常。如果问题仍然存在，可以查看OpenAI的官方状态页面，了解是否存在服务中断等情况。

- **答案不准确或无关**：如果答案不准确或者与问题无关，可能是因为文档切片不合理、向量数据库检索效果不佳或者提示设计不合理。可以尝试调整文本拆分器的参数，如`chunk_size`和`chunk_overlap`，优化文档切片效果；也可以尝试更换相似度度量方法或者调整检索参数，提高向量数据库的检索准确性；此外，还可以优化问答链中的提示模板，引导大语言模型生成更准确的答案。

## 七、优化与拓展

### 7.1 性能优化

在搭建本地AI知识库的过程中，性能优化是一个至关重要的环节，它能够显著提升知识库的响应速度和查询效率，为用户提供更优质的使用体验。以下是一些优化知识库性能的有效方法：

- **调整嵌入模型**：不同的嵌入模型在生成文本向量时，其维度、准确性和计算效率存在差异。例如，OpenAI的嵌入模型在准确性方面表现出色，但计算资源消耗相对较大；而一些轻量级的开源嵌入模型，如Sentence - Transformers系列中的模型，虽然在某些复杂任务上可能不如OpenAI模型，但在计算速度和资源占用上具有优势。在实际应用中，可以根据数据规模和性能要求，尝试使用不同的嵌入模型。比如，对于小规模的文本数据，Sentence - Transformers中的`all-MiniLM-L6-v2`模型能够快速生成高质量的向量，且对硬件资源要求较低；而对于大规模、对准确性要求极高的文本数据，可能需要权衡计算资源，选择OpenAI的嵌入模型。通过对比不同模型在实际数据上的表现，选择最适合的嵌入模型，能够在保证向量质量的前提下，提高整体性能。

- **优化向量数据库配置**：向量数据库的配置对知识库性能有着直接影响。以Chroma向量数据库为例，其相似度度量方法的选择至关重要。默认的余弦相似度在许多场景下表现良好，但在某些特定数据分布的情况下，欧式距离或其他相似度度量方法可能更适合。可以通过实验对比不同相似度度量方法在实际查询任务中的准确率和召回率，选择最优的配置。同时，合理调整索引参数也能提升检索效率。例如，Chroma支持创建不同类型的索引，如Flat索引、HNSW索引等。对于大规模数据，HNSW索引通常能够提供更快的检索速度，因为它采用了层次化的图结构来组织向量，减少了搜索空间。通过设置合适的索引类型和相关参数，如HNSW索引中的`M`（控制图的连接度）和`efConstruction`（控制索引构建时的探索深度），可以显著提高向量数据库的检索性能。此外，定期对向量数据库进行优化和清理，如删除过期或不再使用的向量数据，也能保持数据库的高效运行。

- **缓存机制**：引入缓存机制是提高性能的有效手段。在问答过程中，许多问题可能是重复的，通过缓存已经生成的答案，可以避免重复调用大语言模型和复杂的检索过程，直接返回缓存中的答案，从而大大提高响应速度。可以使用Python的`functools.lru_cache`装饰器来实现简单的缓存功能。例如，在问答函数上应用`lru_cache`：

```python

from functools import lru_cache

@lru_cache(maxsize=1000)

def generate_answer(question):

# 此处为生成答案的代码，包括检索和调用模型等

pass

在上述代码中，maxsize参数设置了缓存的最大容量，当缓存满时，最久未使用的缓存项将被移除。这样，对于相同的问题，generate_answer函数会直接从缓存中返回答案，而无需重新执行复杂的计算过程。此外，还可以使用更高级的缓存工具，如 Redis，实现分布式缓存，适用于多节点部署的知识库系统，进一步提升缓存的效率和扩展性。

7.2 功能拓展

在搭建好基本的本地 AI 知识库后，为了满足更多样化的业务需求和提升用户体验，我们可以进一步拓展其功能。通过引入新的技术和方法，使知识库能够处理更丰富的数据类型，与其他工具进行深度集成，从而发挥更大的价值。

• 支持多模态数据：随着技术的发展，数据的形式越来越多样化，除了文本数据，图像、音频等多模态数据也蕴含着丰富的信息。在本地 AI 知识库中支持多模态数据，能够极大地拓展其应用场景。

• • 图像数据处理：对于图像数据，可以使用图像识别技术提取图像中的关键信息，并将其转化为文本形式，然后与文本数据一样进行处理和存储。例如，使用预训练的卷积神经网络（CNN）模型，如 ResNet、VGG 等，对图像进行特征提取，再通过图像字幕生成模型，将图像特征转换为描述性文本。然后，将这些文本与图像的元数据（如文件名、拍摄时间等）一起存储在向量数据库中。当用户查询相关信息时，如果输入的问题与图像内容相关，系统可以通过检索向量数据库，找到匹配的图像文本描述，进而返回相关图像。例如，在一个企业的产品知识库中，存储了产品的图片和相关介绍文本，当用户询问关于某个产品的外观特征时，系统可以同时检索文本和图像信息，提供更直观、全面的回答。

• • 音频数据处理：对于音频数据，首先需要将其转换为文本。可以使用语音识别技术，如百度语音识别、Google Cloud Speech - to - Text 等，将音频文件转换为文字。转换后的文本可以按照处理文本数据的方式，进行切片、嵌入和存储。在检索阶段，如果用户以语音形式提问，系统先将语音转换为文本，然后进行检索和回答。例如，在智能客服场景中，用户可以通过语音提问，系统将语音转换为文本后，从知识库中查找答案，并以语音形式返回给用户，实现语音交互的功能。通过支持多模态数据，本地 AI 知识库能够处理更复杂的用户需求，提供更智能、便捷的服务。

• 集成其他工具：将本地 AI 知识库与其他实用工具进行集成，可以进一步增强其功能，为用户提供一站式的解决方案。

• • 与办公软件集成：将知识库与办公软件（如 Word、Excel、PowerPoint 等）集成，能够方便用户在日常办公中快速获取知识。例如，开发一个 Word 插件，当用户在撰写文档时，遇到问题可以直接在插件中输入问题，插件会调用知识库的接口，返回相关答案，帮助用户完成文档撰写。在 Excel 中，用户可以通过自定义函数的方式，从知识库中获取数据或计算方法，辅助数据分析和报表制作。与 PowerPoint 集成后，用户在制作演示文稿时，可以快速查询相关资料，丰富演示内容。这种集成方式能够提高办公效率，减少用户在不同应用程序之间切换的时间。

• • 与项目管理工具集成：在软件开发、项目管理等领域，将知识库与项目管理工具（如 Jira、Trello 等）集成，可以实现知识的实时共享和协作。例如，当团队成员在 Jira 中创建任务或处理问题时，可以直接从知识库中获取相关的技术文档、解决方案等，避免重复劳动。同时，项目中的经验教训、最佳实践等也可以及时更新到知识库中，供团队成员参考。在 Trello 中，用户可以通过插件将知识库中的信息关联到相应的任务卡片上，方便团队成员随时查看和使用。通过与项目管理工具的集成，能够促进团队协作，提升项目执行效率，使知识库成为项目管理过程中的重要支撑工具。

八、总结与展望

8.1 回顾搭建过程

在本次探索中，我们借助 Python 和 LangChain 成功搭建了本地 AI 知识库，这一过程涵盖了多个关键环节。首先是数据加载，通过 LangChain 丰富的 loader 组件，如DirectoryLoader和TextLoader，我们能够轻松地将本地各种格式的文本数据，包括.txt、.pdf等文件，加载到系统中，为后续处理奠定基础。接着，考虑到大语言模型对输入长度的限制，我们使用RecursiveCharacterTextSplitter等文本拆分器，将文档切割成合适大小的文本片段，既保证了上下文的连贯性，又满足了模型的输入要求。随后，通过 OpenAI 的嵌入模型OpenAIEmbeddings将这些文本片段转换为向量表示，并存储到 Chroma 向量数据库中，实现了高效的知识存储与检索。最后，利用 LangChain 的RetrievalQA问答链，结合 OpenAI 的大语言模型，根据用户的问题从向量数据库中检索相关文档片段，生成准确、有用的答案，完成了从数据到知识服务的全流程搭建。

8.2 未来发展方向

展望未来，本地 AI 知识库在不同领域有着广阔的应用前景和发展趋势。在企业领域，它将成为智能办公的核心支撑。例如，在企业的客户服务部门，本地 AI 知识库可以快速响应客户的问题，提供准确的解决方案，大大提高客户满意度和服务效率；在研发部门，它能够帮助工程师快速检索相关技术文档和解决方案，加速产品研发进程。在教育领域，本地 AI 知识库可以为学生提供个性化的学习辅导，根据学生的学习进度和问题，提供针对性的知识讲解和练习建议，实现真正的因材施教。在医疗领域，结合医学文献和临床数据，本地 AI 知识库可以辅助医生进行疾病诊断和治疗方案的制定，提供最新的医学研究成果和治疗案例参考。

随着技术的不断进步，本地 AI 知识库也将不断发展。一方面，模型的性能将不断提升，能够处理更复杂的自然语言理解和生成任务，提供更加智能、准确的回答。另一方面，与多模态数据的融合将更加深入，不仅支持文本数据，还能处理图像、音频等多种形式的数据，为用户提供更丰富、全面的知识服务。此外，随着对数据安全和隐私保护的重视程度不断提高，本地 AI 知识库在保障数据安全和隐私方面将不断优化，采用更先进的加密技术和隐私保护机制，确保用户数据的安全性。