RAG智能体实战：构建企业内部知识库问答系统-CSDN博客

本文链接：https://blog.csdn.net/m0_59164520/article/details/147847943

“RAG（Retrieval-Augmented Generation）智能体作为一种结合了信息检索和大语言模型生成的强大工具，可以有效缓解大模型幻觉、提升知识时效性以及信息可追溯性，正在为我们提供更为可行的解决方案。本文将介绍RAG的基本概念，并展示如何构建一个企业内部知识库问答系统。”

01.理解RAG的基本概念

检索增强生成（Retrieval-Augmented Generation, RAG）在调用像ChatGPT这类的大模型进行问题回答之前，会从外部知识库中检索相关信息，这部分信息作为大模型生成回答的参考资料。这样一来，开发者无需为某个特定任务重新训练大模型，而只需在大模型外部添加一个或多个知识库，从而扩展大模型的信息来源，提升回答的准确性。

一个典型RAG智能体系统的总体工作流程可分为两个主要阶段：知识库构建阶段和问答阶段。

知识库构建阶段完成的主要环节包括：知识文档的收集、加载、切分（Split）、嵌入（Embedding）、向量数据库存储、以及知识库管理。问答阶段完成的主要环节包括：问题嵌入、向量数据库索引、相关知识提取、提示词生成。下面再让我们来看看其中涉及到的一些重要概念。

Split 文本切分：通常切分是为了把较长的文档资料分割成小块，以满足大模型token数量的限制要求，这里以LangChain text spliter文本拆分器为例解释split的作用：

将文本分割成小的、语义上有意义的块（通常是句子）。
开始将这些小块组合成一个较大的块，直到达到某个特定大小（通过某种函数来衡量）。
一旦达到该大小，就将这个块单独作为一段文本，然后开始创建一个新的文本块，并添加一些重叠部分（以保持块之间的上下文）。

Embedding 嵌入：Embedding将文本片段转换为向量表示，实现文字片段的数字化。这个向量会在后续的检索过程中与问题向量计算相似度。这种向量表示能够捕捉文本的语义信息，使得不同文本之间的相似性可以通过计算向量之间的距离来衡量。

Indexing 索引：指的是创建一个数据结构，以便快速检索与用户查询相关的文档或信息的过程。其主要目的和作用包括：

高效检索：通过将文档的嵌入（embedding）向量存储在索引中，可以大大提高查询的速度。当用户提出问题时，系统可以快速找到与之相似的文档，而无需遍历整个知识库。
相似度计算：索引使得计算文档之间的相似度变得更加高效，通常使用向量距离（如余弦相似度或欧氏距离）来判断哪些文档与查询最相关。
支持大规模数据：通过建立索引，RAG可以处理大规模的知识库，使得即使是在包含数百万个文档的情况下，检索过程仍然能够保持高效。
信息组织：索引为文档提供了一种结构化的组织方式，使得在检索时可以更容易地管理和访问相关信息。

Vector DB 向量数据库：向量数据库是一个专门用于存储和管理文档嵌入（embedding）向量的数据库。它的主要作用是支持快速、高效的相似度检索，以帮助系统找到与用户查询相关的文档。

02.实战构建一个企业知识库问答系统

文档加载：这里以一份微信公众平台运营规范.pdf文档为例做演示。首先加载和读取PDF文件内容。

doc_path = './docs/微信公众平台运营规范.pdf'loader = PyPDFLoader(doc_path)docs = loader.load()

文档切分：使用CharacterTextSplitter将文档切分成更小的片段（chunks），主要用于处理长文本。设置重叠（overlap=100）的原因包括保持上下文连贯性，避免在切分时丢失关键信息，防止句子被生硬切断。

max_length = 400overlap = 100text_splitter = CharacterTextSplitter(        separator="\n",        chunk_size=max_length,        chunk_overlap=overlap,        length_function=len    )docs = text_splitter.split_documents(docs)

向量数据库构建：使用OpenAIEmbedding进行词嵌入处理用于将文本转换为向量（embeddings），使用FAISS（Facebook AI Similarity Search）创建向量数据库。FAISS是一个高效的向量相似度搜索库。

embedding_model_openai = OpenAIEmbeddings(api_key=api_key)
vdb = FAISS.from_documents(docs, embedding_model_openai)
vdb.save_local('faiss_index')

为了直观的观察词嵌入后的向量化表示，可以将文档的高维向量（embeddings）通过PCA降维成2D形式并可视化展示，以便直观地观察文档之间的语义关系和分布情况。

# Direct access to FAISS index vectorsindex_vectors = vdb.index.reconstruct_n(0, 50)  # Get first 50 vectors
# Apply PCApca = PCA(n_components=2)  # Reduce to 2Dreduced_vectors = pca.fit_transform(index_vectors)
# Plottingplt.scatter(reduced_vectors[:, 0], reduced_vectors[:, 1], color='blue')for i, (x, y) in enumerate(reduced_vectors):    plt.text(x, y, f"Vector {i+1}", fontsize=9)
plt.title("2D Projection of High-Dimensional Vectors (PCA)")plt.xlabel("Principal Component 1")plt.ylabel("Principal Component 2")plt.grid()plt.show()

或者使用t-SNE来做降维和可视化。t-SNE可以更好的展示聚类效果并保持局部结构，但计算上更加耗时。

from sklearn.manifold import TSNE
# Apply t-SNEtsne = TSNE(n_components=2, random_state=42)reduced_vectors_tsne = tsne.fit_transform(index_vectors)
# Plottingplt.scatter(reduced_vectors_tsne[:, 0], reduced_vectors_tsne[:, 1], color='green')for i, (x, y) in enumerate(reduced_vectors_tsne):    plt.text(x, y, f"Vector {i+1}", fontsize=9)
plt.title("2D Projection of High-Dimensional Vectors (t-SNE)")plt.xlabel("Dimension 1")plt.ylabel("Dimension 2")plt.grid()plt.show()

向量数据库加载

用户问答阶段，首先加载刚刚构建好的向量数据库faiss_index。然后以"多级分销会受到什么处罚？"为例，搜索相关文档并返回top 3最相似结果。

# 加载向量数据库vdb_loaded = FAISS.load_local('faiss_index', embedding_model_openai, allow_dangerous_deserialization=True)
# 采集用户提问user_query = "多级分销会受到什么处罚？"
# 相似度搜索，返回top 3相关文档retrieved_docs = vdb_loaded.similarity_search(user_query, k=3)

初始化OpenAI服务：这里使用gpt-4o-mini模型，保证性能同时tokens价格便宜。并且封装了一个调用OpenAI API的函数，用于发送提示词(prompt)并获取GPT模型的回复内容，简化了API调用的过程。

# 初始化OpenAI服务client = OpenAI(api_key=api_key)
# Get completion from OpenAIdef get_completion(prompt, system_message: str = "You are a helpful assistant."):    response = client.chat.completions.create(            model='gpt-4o-mini',            temperature=0.3,            top_p=1,            messages=[                {"role": "system", "content": system_message},                {"role": "user", "content": prompt},            ],        )    return response.choices[0].message.content

提示词模版：构建一个提示词模板，将用户的问题(user_query)和检索到的相关文档内容(retrieved_docs_content)组合在一起，用于向GPT模型提问。

retrieved_docs_content = [doc.page_content for doc in retrieved_docs]
# 提示词模版prompt_template = f'''Given the reference below, please ansower the question - {user_query}.
{retrieved_docs_content}
'''

最后，调用get_completion函数返回结果。

ai_response = get_completion(prompt_template)print(ai_response)
"""根据提供的参考内容，多级分销会受到以下处罚：
1. **限制账号功能**：一旦发现账号实施多级分销欺诈行为，微信公众平台将对其进行限制部分功能。2. **永久封号**：在严重情况下，账号可能会被永久封号处理。3. **拒绝服务**：微信公众平台有权拒绝再向该运营主体提供服务。
多级分销行为被认为与传销、金字塔欺诈和庞氏骗局等行为类似，因此相关的处罚措施非常严格。"""

从结果我们可以看出，AI已经结合了参考文档中的内容，做出了正确的回答。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述