RAG 聊天机器人：用 Langchain 和 Streamlit开启与 PDF 的智能对话

与大量 PDF 文档的交互如今变得前所未有地便捷与智能。想象一下，您可以轻松与您的笔记、书籍和各种文档进行无缝对话，不再需要繁琐的手动查找和处理。

这篇文章将带您逐步构建一个基于 Multi-RAG 和 Streamlit 的 Web 应用程序，该应用程序通过 AI 驱动的聊天机器人来读取、解析和处理 PDF 数据，提供前所未有的用户体验。让我们一起深入探讨开发这一创新应用的完整过程，了解如何通过先进技术实现高效的文档管理与交互。

在开始构建之前，让我们先介绍一下我们将使用的关键工具和库：

Streamlit： Streamlit 是一个功能强大的框架，它显著简化了为机器学习和数据科学项目创建和分享美观、自定义 Web 应用程序的过程。通过 Streamlit，开发者可以快速将数据分析、模型结果和交互式可视化打包成易于使用的 Web 应用，无需深厚的前端开发经验。

PyPDF2： 一个专为阅读和操作 PDF 文件而设计的综合库。它可以提取文本、合并多个 PDF，甚至解密受保护的 PDF。

**Langchain：**一套多功能工具，旨在增强自然语言处理 （NLP） 并创建复杂的对话式 AI 应用程序。Langchain为文本处理、嵌入和交互提供了各种工具。

FAISS： 由 Facebook AI Research 开发的库，旨在实现高效的相似性搜索和密集向量的聚类。它经过高度优化，并支持快速索引和搜索，这对于处理大型数据集至关重要。

import streamlit as st  # Importing Streamlit for the web interface
from PyPDF2 import PdfReader  # Importing PyPDF2 for reading PDF files
from langchain.text_splitter import RecursiveCharacterTextSplitter  # Importing Langchain's text splitter
from langchain_core.prompts import ChatPromptTemplate  # Importing ChatPromptTemplate from Langchain
from langchain_community.embeddings.spacy_embeddings import SpacyEmbeddings  # Importing SpacyEmbeddings
from langchain_community.vectorstores import FAISS  # Importing FAISS for vector store
from langchain.tools.retriever import create_retriever_tool  # Importing retriever tool from Langchain
from dotenv import load_dotenv  # Importing dotenv to manage environment variablesfrom langchain_anthropic import ChatAnthropic  # Importing ChatAnthropic from Langchain
from langchain_openai import ChatOpenAI, OpenAIEmbeddings  # Importing ChatOpenAI and OpenAIEmbeddings from Langchain
from langchain.agents import AgentExecutor, create_tool_calling_agent  # Importing agent-related modules from Langchain

import os
os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"  # Setting environment variable to avoid potential conflicts

我们应用程序的第一个主要功能涉及读取 PDF 文件。这是使用 PDF 阅读器实现的，该阅读器从上传的 PDF 文件中提取文本并将其编译为单个连续字符串。

当用户上传一个或多个 PDF 时，应用程序会处理每个文档以提取文本。此过程涉及读取 PDF 的每一页并将文本连接起来以形成一个大字符串。

PDF上传： 用户可以通过 Streamlit 界面上传多个 PDF 文件。

文本提取： 对于每个上传的 PDF，应用程序使用 PdfReader 遍历每个页面并提取文本。然后，此文本被连接成一个连续的字符串。

def pdf_read(pdf_doc):
    text = ""    
    for pdf in pdf_doc:     
        pdf_reader = PdfReader(pdf)  # Initializing the PDF reader for the given document        
        for page in pdf_reader.pages:  # Iterating through each page in the PDF            
            text += page.extract_text()  # Extracting and appending the text from the current page    
    return text  # Returning the concatenated text from all pages

为了有效地分析和处理文本，我们将其拆分为较小的块。这是使用 Langchain 的文本拆分器完成的，它通过将大文本划分为更小、更易于管理的段来帮助管理大文本。

**文本分块：**大文本字符串被划分为较小的块，每个块 1000 个字符，重叠 200 个字符，以确保在块之间保留上下文。

def get_chunks(text):
    text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)  # Initializing the text splitter with specified chunk size and overlap    
    chunks = text_splitter.split_text(text)  # Splitting the text into chunks    
    return chunks  # Returning the list of text chunks

一旦文本被分割成块，下一步就是通过将这些块转换为向量表示来使其可搜索。这就是FAISS库发挥作用的地方。

通过将文本块转换为向量，我们使系统能够在文本中执行快速有效的搜索。向量保存在本地，以便快速检索。

嵌入生成： 每个文本块都使用 Spacy 嵌入转换为向量表示。这种数值表示对于相似性搜索和检索至关重要。

矢量存储： 生成的向量使用 FAISS 库存储，这有助于快速索引和搜索。这使得文本数据库非常高效且可扩展。

embeddings = SpacyEmbeddings(model_name="en_core_web_sm")  # Initializing Spacy embeddings with the specified model
def vector_store(text_chunks):
    vector_store = FAISS.from_texts(text_chunks, embedding=embeddings)  # Creating a FAISS vector store from text chunks    
    vector_store.save_local("faiss_db")  # Saving the vector store locally

该应用程序的核心是对话式 AI，它利用 OpenAI 强大的模型与处理过的 PDF 内容进行交互。

为了使聊天机器人能够根据 PDF 内容回答问题，我们使用 OpenAI 的 GPT 模型对其进行配置。此设置包括几个步骤：

模型初始化： 我们初始化GPT模型，指定所需的模型变体（gpt-3.5-turbo）并设置温度参数以控制响应的随机性。较低的温度可确保更确定的答案。

提示模板： 提示模板用于指导 AI 理解上下文并生成适当的响应。此模板包括系统说明、聊天历史记录的占位符、用户输入和座席暂存器。

代理创建： 我们使用初始化的模型和提示模板创建代理。该代理将处理对话，调用必要的工具从 PDF 内容中获取相关信息。

工具集成： 我们集成了帮助 AI 从存储在矢量数据库中的 PDF 文本中检索相关信息的工具。

代理执行： 代理通过调用工具并处理用户的查询来执行对话。如果答案在提供的上下文中不可用，AI 会以“答案在上下文中不可用”进行响应，确保用户不会收到错误的信息。

def get_conversational_chain(tools, ques):
    # Initialize the language model with specified parameters    
    llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0, api_key="")  
          
    # Define the prompt template for guiding the AI's responses    
    prompt = ChatPromptTemplate.from_messages(    
        [       
            (             
                "system",                
                """You are a helpful assistant. Answer the question as detailed as possible from the provided context, make sure to provide all the details. If the answer is not in                
                provided context just say, "answer is not available in the context", don't provide the wrong answer""",            
            ),            
            ("placeholder", "{chat_history}"),            
            ("human", "{input}"),            
            ("placeholder", "{agent_scratchpad}"),        
        ]   
    ) 
           
    # Create the tool list and the agent    
    tool = [tools]    
    agent = create_tool_calling_agent(llm, tool, prompt)      
      
    # Execute the agent to process the user's query and get a response    
    agent_executor = AgentExecutor(agent=agent, tools=tool, verbose=True)    
    response = agent_executor.invoke({"input": ques})    print(response)    
    st.write("Reply: ", response['output'])

该应用程序允许用户通过简单的文本界面输入他们的问题。然后处理用户输入以从 PDF 数据库中检索相关信息。

def user_input(user_question):
    # Load the vector database    
    new_db = FAISS.load_local("faiss_db", embeddings, allow_dangerous_deserialization=True)      
      
    # Create a retriever from the vector database    
    retriever = new_db.as_retriever()    
    retrieval_chain = create_retriever_tool(retriever, "pdf_extractor", "This tool is to give answers to queries from the PDF")      
      
    # Get the conversational chain to generate a response    
    get_conversational_chain(retrieval_chain, user_question)

后端准备就绪后，该应用程序使用 Streamlit 创建一个用户友好的界面。此界面有助于用户交互，包括上传 PDF 和查询聊天机器人。

def main():
    st.set_page_config("Chat PDF")    
    st.header("RAG based Chat with PDF")
user_question = st.text_input("Ask a Question from the PDF Files")
    if user_question:   
       user_input(user_question)   
    with st.sidebar:      
       st.title("Menu:")        
       pdf_doc = st.file_uploader("Upload your PDF Files and Click on the Submit & Process Button", accept_multiple_files=True)        
       if st.button("Submit & Process"):       
           with st.spinner("Processing..."):          
               raw_text = pdf_read(pdf_doc)                
               text_chunks = get_chunks(raw_text)                
               vector_store(text_chunks)                
               st.success("Done")
if __name__ == "__main__": 
    main()

本教程演示了如何使用 Langchain、Streamlit 和其他强大的库构建复杂的多 PDF RAG 聊天机器人。通过执行这些步骤，您可以创建一个应用程序，该应用程序不仅可以处理和理解大型 PDF 文档，还可以以有意义的方式与用户交互。

为方便起见，以下是应用程序的完整代码：

import streamlit as st
from PyPDF2 import PdfReader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_core.prompts import ChatPromptTemplate
from langchain_community.embeddings.spacy_embeddings import SpacyEmbeddings
from langchain_community.vectorstores import FAISS
from langchain.tools.retriever import create_retriever_tool
from dotenv import load_dotenv
from langchain_anthropic import ChatAnthropic
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain.agents import AgentExecutor, create_tool_calling_agent

import os
os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"
embeddings = SpacyEmbeddings(model_name="en_core_web_sm")
def pdf_read(pdf_doc):
    text = ""    
    for pdf in pdf_doc:     
        pdf_reader = PdfReader(pdf)        
        for page in pdf_reader.pages:       
            text += page.extract_text()    
    return text
def get_chunks(text):
    text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
    chunks = text_splitter.split_text(text)    
    return chunks
def vector_store(text_chunks):
    vector_store = FAISS.from_texts(text_chunks, embedding=embeddings)    
    vector_store.save_local("faiss_db")
def get_conversational_chain(tools, ques):
    llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0, api_key="")    
    prompt = ChatPromptTemplate.from_messages(   
        [       
            (           
                "system",                
                """You are a helpful assistant. Answer the question as detailed as possible from the provided context, make sure to provide all the details. If the answer is not in                
                provided context just say, "answer is not available in the context", don't provide the wrong answer""",            
            ),            
            ("placeholder", "{chat_history}"),            
            ("human", "{input}"),            
            ("placeholder", "{agent_scratchpad}"),        
        ]    
    )    
    tool = [tools]    
    agent = create_tool_calling_agent(llm, tool, prompt)    
    agent_executor = AgentExecutor(agent=agent, tools=tool, verbose=True)    
    response = agent_executor.invoke({"input": ques})    
    print(response)    
    st.write("Reply: ", response['output'])
def user_input(user_question):
    new_db = FAISS.load_local("faiss_db", embeddings, allow_dangerous_deserialization=True)    
    retriever = new_db.as_retriever()    
    retrieval_chain = create_retriever_tool(retriever, "pdf_extractor", "This tool is to give answers to queries from the PDF")    
    get_conversational_chain(retrieval_chain, user_question)
def main():
    st.set_page_config("Chat PDF")    
    st.header("RAG based Chat with PDF")    
    user_question = st.text_input("Ask a Question from the PDF Files")    
    if user_question:    
        user_input(user_question)    
    with st.sidebar:    
        st.title("Menu:")        
        pdf_doc = st.file_uploader("Upload your PDF Files and Click on the Submit & Process Button", accept_multiple_files=True)        
        if st.button("Submit & Process"):       
            with st.spinner("Processing..."):          
                raw_text = pdf_read(pdf_doc)                
                text_chunks = get_chunks(raw_text)                
                vector_store(text_chunks)                
                st.success("Done")
if __name__ == "__main__":
    main()

通过将应用程序另存为 app.py 然后使用以下命令来运行应用程序：

streamlit run app.py

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】