徒手使用LangChain搭建一个ChatGPT PDF知识库

黑帽子唐哥

已于 2024-09-04 17:44:05 修改

阅读量797

点赞数 11

文章标签： langchain chatgpt pdf transformer 人工智能 prompt 深度学习

于 2024-09-04 11:37:12 首次发布

本文链接：https://blog.csdn.net/weixin_59191169/article/details/141889132

版权

环境搭建

首先要在电脑上安装 Python，直接在官网下载安装包进行安装即可：www.python.org/downloads/

# 创建文件夹，可随意命名
mkdir chatgpt-pdf
cd chatgpt-pdf
# 创建虚拟环境（第二个venv为虚拟环境的名称，之所以使用venv是因为一般通用的.gitignore会默认忽略该文件夹，完全可以选择使用其它名称）
python3 -m venv venv
# 激活虚拟环境
source venv/bin/activate
# 安装依赖包
pip install langchain pdfplumber python-dotenv streamlit faiss-cpu openai tiktoken

langchain官网位于python.langchain.com/en/latest/i… ，它可以简化对各种大语言模型的使用，比如内置有OpenAI等。

pdfplumber顾名思义，是用于读取和处理PDF文件的，选择这库是因为今年还在更新，并且对中文的支持还不错。本次项目demo会导入自己的PDF文件，并将其作为知识库，回答你的提问。

python-dotenv用于读取.env文件，本例在该文件中放入Open AI平台的key。

streamlit用于绘制 UI界面，当前大多数ChatGPT应用都使用它，如大名鼎鼎的gpt4free，streamlit默认会收集信息进行分析，可通过配置文件关闭，macOS和Linux位于~/.streamlit/config.toml，Windows位于%userprofile%/.streamlit/config.toml，添加如下内容即可：

[browser]
gatherUsageStats = false

其它配置项可通过streamlit config show可查看。

faiss-cpu是facebook开源用于相似搜索的库，github.com/facebookres… ，GPU版本请使用faiss-gpu。

openai和tiktoken都是调用ChatGPT接口时使用的。

保留当前使用版本请使用pip freeze > requirements.txt。

OpenAI的注册方式这里就不介绍了，最常用的是在sms-activate.org/ 上购买服务获取短信验证码完成注册。

代码开发

知识库搭建和使用流程图如下：

徒手使用LangChain搭建一个ChatGPT PDF知识库

我们在根目录下创建.env文件：

OPENAI_API_KEY=你自己的key

这里的OPENAI_API_KEY名称固定，请不要修改。

然后创建app.py，先进行环境变量的读取（使用编辑器的小伙伴请注意选择刚刚创建的环境，PyCharm应该能自动识别，VScode 请按下快捷键 ctrl/cmd+shift+p进行选择），先测试读取环境变量是否正常

from dotenv import load_dotenv
import os

load_dotenv()
print(os.getenv('OPENAI_API_KEY'))

接着搭建页面框架：

import streamlit as st

st.set_page_config(page_title="专属PDF知识库")
st.header("专属PDF知识库💬")
# 上传文件
pdf = st.file_uploader("上传PDF文件", type="pdf")

运行streamlit run app.py效果如下：

徒手使用LangChain搭建一个ChatGPT PDF知识库

提取文本：

import pdfplumber

# 提取文本
if pdf is not None:
  text = ""
  with pdfplumber.open(pdf) as pdf_reader:
    for page in pdf_reader.pages:
      text += page.extract_text()

接下对文本进行分片，这里每个分片长充为1000字符，为保留上下文选择了重叠200字符：

from langchain.text_splitter import CharacterTextSplitter

text_splitter = CharacterTextSplitter(
  separator="\n",
  chunk_size=1000,
  chunk_overlap=200,
  length_function=len
)
chunks = text_splitter.split_text(text)

接下来配置 embedding，也即将离散值转化为连续向量：

embeddings = OpenAIEmbeddings()
knowledge_base = FAISS.from_texts(chunks, embeddings)

为界面添加一个输入框：

user_question = st.text_input("来向我提问吧：")

最后完成回复的逻辑：

from langchain.chains.question_answering import load_qa_chain
from langchain.llms import OpenAI
if user_question:
  docs = knowledge_base.similarity_search(user_question)
  
  llm = OpenAI()
  chain = load_qa_chain(llm, chain_type="stuff")
  response = chain.run(input_documents=docs, question=user_question)

  st.write(response)

如需追踪花了多少钱，可增加：

from langchain.callbacks import get_openai_callback
with get_openai_callback() as cb:
 response = chain.run(input_documents=docs, question=user_question)
 print(cb)
st.write(response)

徒手使用LangChain搭建一个ChatGPT PDF知识库
完整代码：

from dotenv import load_dotenv
import streamlit as st
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.vectorstores import FAISS
from langchain.chains.question_answering import load_qa_chain
from langchain.llms import OpenAI
from langchain.callbacks import get_openai_callback
import pdfplumber


def main():
  load_dotenv()

  # locale.setlocale(locale.LC_ALL, 'zh_CN')
  st.set_page_config(page_title="专属PDF知识库")
  st.header("专属PDF知识库💬")
  # 上传文件
  pdf = st.file_uploader("上传PDF文件", type="pdf")

  # 提取文本
  if pdf is not None:
    text = ""
    with pdfplumber.open(pdf) as pdf_reader:
      for page in pdf_reader.pages:
        text += page.extract_text()
    
    # 文本分片
    text_splitter = CharacterTextSplitter(
      separator="\n",
      chunk_size=1000,
      chunk_overlap=50,
      length_function=len
    )
    chunks = text_splitter.split_text(text)
    
    # 创建embeddings
    embeddings = OpenAIEmbeddings()
    knowledge_base = FAISS.from_texts(chunks, embeddings)
    user_question = st.text_input("来向我提问吧：")
    if user_question:
      docs = knowledge_base.similarity_search(user_question)
      
      llm = OpenAI()
      chain = load_qa_chain(llm, chain_type="stuff")
      with get_openai_callback() as cb:
        response = chain.run(input_documents=docs, question=user_question)
        print(cb)
          
      st.write(response)

if __name__ == '__main__':
    main()

国内直连接口超时问题

如果有海外服务器可以直接做代理

网上现在比较通用的方案是使用 Cloudflare Workers，比如下面是 Alan随便找到的一段代码：

const TELEGRAPH_URL = 'https://api.openai.com';

addEventListener('fetch', event => {
  event.respondWith(handleRequest(event.request))
})

async function handleRequest(request) {
  const url = new URL(request.url);
  url.host = TELEGRAPH_URL.replace(/^https?:///, '');

  const modifiedRequest = new Request(url.toString(), {
    headers: request.headers,
    method: request.method,
    body: request.body,
    redirect: 'follow'
  });

  const response = await fetch(modifiedRequest);
  const modifiedResponse = new Response(response.body, response);

  // 添加允许跨域访问的响应头
  modifiedResponse.headers.set('Access-Control-Allow-Origin', '*');

  return modifiedResponse;
}

但现在xxx.workers.dev在国内也无法访问，所以也是有门槛的，那就是要绑定一个自定义域名。自定义域可在.env文件中添加OPENAI_API_BASE=xxx.xxx.xxx/v1。

Unsupported OpenAI-Version header provided: 2022-12-01. (HINT: you can provide any of the following supported versions: 2020-10-01, 2020-11-07. Alternatively, you can simply omit this header to use the default version associated with your account.)
这个问题待探讨，快速解决方法是
```
embeddings = OpenAIEmbeddings(openai_api_version='2020-11-07')
```

github.com/hwchase17/l…