使用langchain搭建本地知识库系统(新)_

程序员小麦

于 2024-07-12 18:06:41 发布

阅读量625

点赞数 9

文章标签： langchain 人工智能 AI绘画 AI作画 stable diffusion

本文链接：https://blog.csdn.net/maiya_yayaya/article/details/140385925

版权

什么是 `RAG`

RAG 是retrieval-augmented-generation的缩写，翻译为中文的意思就检索增强，以基于最新，最准确的数据建立LLM 的语料知识库。

`LLM` 现存的痛点

我们知道 LLM 的知识库是通过现有的网络公开的数据作为数据源来训练的，现在公开的很多模型他们基于的训练数据会比我们现在网络上公开的数据早很多，那自然就会产生一种问题，网络上最新的数据和知识 LLM 是不知道。还有一种情况就是很多企业他们对自己的数据的安全做的很好，也就是私有化数据（这些数据是有价值的，也是企业的立足之本）。这些数据网络上肯定是不存在，那自然 LLM 也是不知道的。

我们在提问LLM 对于一些不知道的知识时候，LLM 很多时候是不知道如何回答问题的。甚至会对我们的问题进行胡诌随机回答，也就是瞎说。

如何解决

那如何让 LLM 知道这些最新/私有的数据的知识呢❓

那就是 RAG。通过将模型建立在外部知识来源的基础上来补充回答。从而提高 LLM 生成回答的质量。

在基于 LLM实现的问答系统中使用 RAG 有三方面的好处：

确保 LLM 可以回答最新，最准确的内容。并且用户可以访问模型内容的来源，确保可以检查其声明的准确性并最终可信。
通过将 LLM建立在一组外部的、可验证的事实数据之上，该模型将信息提取到其参数中的机会更少。这减少了 LLM 泄露敏感数据或“幻觉”不正确或误导性信息的机会。
RAG 还减少了用户根据新数据不断训练模型并随着数据的变化更新训练参数的需要。通过这种方式企业可以减低相关财务成本。

现在支撑所有基础模型的是一种称为 transformer 的 AI 架构。它将大量原始数据转换为其基本结构的压缩表示形式。从这种原始表示开始，基础模型可以适应各种任务，并对标记的、特定于领域的知识进行一些额外的微调。

但是，仅靠微调很少能为模型提供在不断变化的环境中回答高度具体问题所需的全部知识，并且微调的时间周期还比较长。所以当时的 Facebook提出了 RAG，让 LLM 能够访问训练数据之外的信息。RAG 允许 LLM 建立在专门的知识体系之上，以更准确的方式回答问题。

简单介绍

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。它使应用程序能够：

具有上下文感知 能力：将语言模型与上下文源（提示说明、少量镜头示例、基于其响应的内容等）联系起来。
原因：依靠语言模型进行推理（关于如何根据提供的上下文回答，采取什么行动等）

更多的介绍可以去官网：Introduction | 🦜️🔗 Langchain

安装 `langchain` 相关依赖包

pip install langchain
pip install langchain-community
pip install langchain-core
pip install langchain-experimental
pip install langchain-experimental
pip install “langserve[all]”
pip install langchain-cli
pip install langsmith

实现知识库

OpenAI 相关配置

如果你是不使用的 OpenAI 那么，你需要参考官网的关于 model I/O的部分去实例化你对应的 LLM model

本文中的LLM 使用的是 AZURE_OPENAI 的服务。

py

 import os
 os.environ["AZURE_OPENAI_ENDPOINT"] = ""
 os.environ["AZURE_OPENAI_API_KEY"] = ""

embedding model 账户配置

根据自己的实际 LLM情况去配置相关的参数

py

 import os
 os.environ["AZURE_OPENAI_ENDPOINT"] = ""
 os.environ["AZURE_OPENAI_API_KEY"] = ""
 os.environ["OPENAI_API_VERSION"] = "2023-05-15"
 os.environ["OPENAI_API_TYPE"] = "azure"

`RAG` 增强检索的流程图

RAG 增强检索的流程图

代码执行流程

加载 langchain 相关包
加载 url 网页的文档并生成 langchain Document raw_documents
将 raw_documents 拆分为适合 embedding model 能够处理大小的 chunk 小文档。
使用 embedding model API 将小的 chunk 向量化，并保存向量数据库
构建 `RAG prompt提示，并使用变量{context}``{question}`, 并限定回答问题所使用的文本
使用 LCEL 表达式构建 RAG chain
在 app/server.py 中添加 add_routes(app, rag_chroma_chain, path="/dify") 代码
执行代码 langchain serve 启动服务

代码实现

导入 langchain 的百度千帆 embedding model

python

  from langchain_community.embeddings import QianfanEmbeddingsEndpoint

我这里使用的百度千帆的 embedding model 具体你要使用什那个产品的 embedding model 在对应的地方修改为自己的即可。

embedding model 的作用有两点

将我们拆分后的 documents 做向量化，然后并保存到对应的向量数据库中。
用户在查找相关问题的时候，先从向量数据库中查找出相似的文档

也就是提供了存储和查询的功能。

定义 embedding model的初始化

py

  import os
  def embedQianfan():
      os.environ["QIANFAN_AK"] = "" # 这里需要修改为自己的实际值
      os.environ["QIANFAN_SK"] = "" # 这里需要修改为自己的实际值
      embed = QianfanEmbeddingsEndpoint()
      return embed

定义 OpenAI 实现

根据自己的账户情况去配置相关参数

javascript

  def openai`LLM `() -> AzureChatOpenAI:
      # 设置环境变量
      os.environ["AZURE_OPENAI_ENDPOINT"] = ""
      os.environ["AZURE_OPENAI_API_KEY"] = ""
      # os.environ["OPENAI_API_VERSION"] = "2023-05-15"
      # os.environ["OPENAI_API_TYPE"] = "gpt-35-turbo"
      from langchain_openai import AzureChatOpenAI
      `LLM ` = AzureChatOpenAI(
          azure_deployment="gpt-4",
          openai_api_version="2023-05-15"
      )
      return `LLM `

OpenAI

如果你用的是 OpenAI 官方的服务，那么使用就更加的简单了

scss

  os.environ["OPENAI_API_KEY"] = getpass.getpass()
  `LLM ` = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)

整体代码实现详解

py

  # 导入 langchain 相关的依赖包
 
  # 导入向量数据库（向量存储、查询）
  from langchain_community.vectorstores import Chroma
 
  # 导入 langchain 输出函数(格式化输出)
  from langchain_core.output_parsers import StrOutputParser
 
  # 导入 langchain Prompt 模板, prompt 管理
  from langchain_core.prompts import ChatPromptTemplate
  from langchain_core.pydantic_v1 import BaseModel
 
  # 导入 langchain 的 LCEL 解释器包
  from langchain_core.runnables import RunnableParallel, RunnablePassthrough
 
  # 导入langchain 文本拆分器
  from langchain.text_splitter import RecursiveCharacterTextSplitter
 
  # 导入 langchain 的文件加载器 (WebBaseLoader的功能是拉取网页数据，解析为 langchain Document 结构)
  from langchain_community.document_loaders import WebBaseLoader
 
  #  加载网页 https://docs.dify.ai/v/zh-hans/getting-started/readme 的数据
  raw_documents = WebBaseLoader("https://docs.dify.ai/v/zh-hans/getting-started/readme").load()
  # raw_documents = WebBaseLoader("https://docs.dify.ai/v/zh-hans/guides/knowledge-base").load()
 
  # 将网页数据拆分为 chunk 的大小
  text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
  all_splits = text_splitter.split_documents(raw_documents)
 
  # 将文本编码为向量，并保存为向量
  vectorstore = Chroma.from_documents(
      documents=all_splits,
      collection_name="`RAG`-chroma",
      embedding=embedQianfan(),
  )
  retriever = vectorstore.as_retriever()
 
  # 构建 `RAG` prompt
  template = """Answer the question with chinese and based only on the following context:
  {context}
 
  Question: {question}
  """
  prompt = ChatPromptTemplate.from_template(template)
 
  # 初始化`LLM `
  # model = ChatOpenAI()
  model = openai`LLM `()
  # 使用 LCEL 表达式构建 `RAG` chain
  chain = (
          RunnableParallel({"context": retriever, "question": RunnablePassthrough()})
          | prompt
          | model
          | StrOutputParser()
  )
 
 
  # Add typing for input
  class Question(BaseModel):
      __root__: str
 
  chain = chain.with_types(input_type=Question)
 
  #
  print(chain.invoke("dify 是什么"))
  print(chain.invoke("dify 能干什么？请用列表形式回答"))
  print(chain.invoke("dify 可以导入哪些数据？"))
  print(china.invoke("dify如何导入 nation 数据？"))

启动项目

如果你使用的是 langchain serve 构建的，那么你可以按下面的启动命令启动服务。服务你只是一个单文件，那么执行 python 你的文件你的文件


  langchain serve

less

   langchain serve
  <INFO:     Will watch for changes in these directories: ['/Users/oo7/Developer/langchain/chat`LLM `']
  INFO:     Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit)
  INFO:     Started reloader process [87768] using WatchFiles
  [INFO] [02-28 16:30:15] openapi_requestor.py:316 [t:140704718436288]: requesting `LLM ` api endpoint: /embeddings/embedding-v1
  [INFO] [02-28 16:30:15] oauth.py:207 [t:140704718436288]: trying to refresh access_token for ak `r5KIlr***`
  [INFO] [02-28 16:30:15] oauth.py:220 [t:140704718436288]: sucessfully refresh access_token
  INFO:     Started server process [87777]
  INFO:     Waiting for application startup.
 
   __          ___      .__   __.   _______      _______. _______ .______     ____    ____  _______
  |  |        /   \     |  \ |  |  /  _____|    /       ||   ____||   _  \    \   \  /   / |   ____|
  |  |       /  ^  \    |   |  | |  |  __     |   (----`|  |__   |  |_)  |    \   /   /  |  |__
  |  |      /  /_\  \   |  . `  | |  | |_ |     \   \    |   __|  |      /      \      /   |   __|
  |  `----./  _____  \  |  |\   | |  |__| | .----)   |   |  |____ |  |\  ----.  \    /    |  |____
  |_______/__/     __\ |__| __|  ______| |_______/    |_______|| _| `._____|   __/     |_______|
 
  LANGSERVE: Playground for chain "/pirate-speak/" is live at:
  LANGSERVE:  │
  LANGSERVE:  └──> /pirate-speak/playground/
  LANGSERVE:
  LANGSERVE: Playground for chain "/dify/" is live at:
  LANGSERVE:  │
  LANGSERVE:  └──> /dify/playground/
  LANGSERVE:
  LANGSERVE: See all available routes at /docs/

启动成功后访问地址： http://127.0.0.1:8000/dify/playground/

提问示例

dify 是什么？
dify 能干什么？请用列表形式回答

切换文档后继续提问，观察输出

dify 可以导入哪些数据？

注意点：

1、文件拆分

ini

  text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)

文本拆分一定需要注意 embedding model 窗口所能处理的 token 数量。如果超出则会出问题。

总结：

本文主要是介绍了如何使用 langchain 构建一个自己的知识库系统

介绍了知识库构建的 RAG 相关的知识
LLM 不能做什么，如何将最新的数据于 llm 相结合来提示 llm 的能力
langchain 的基本介绍，他是一个用于开发由语言模型驱动的应用程序的框架
向量数据库的作用：存储向量化后的文本然后提供查找语义相关的内容
构建知识库的步骤和相关代码的介绍

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景

学习计划：

阶段1：1-2个月，建立AI大模型的基础知识体系。
阶段2：2-3个月，专注于API应用开发能力的提升。
阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

程序员小麦

关注

9
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
使用langchain搭建本地知识库系统(新)_

RAG是的缩写，翻译为中文的意思就检索增强，以基于最新，最准确的数据建立LLM的语料知识库。LLMLangChain是一个用于开发由语言模型驱动的应用程序的框架。具有上下文感知能力：将语言模型与上下文源（提示说明、少量镜头示例、基于其响应的内容等）联系起来。原因：依靠语言模型进行推理（关于如何根据提供的上下文回答，采取什么行动等）pyimport osos.environ["QIANFAN_AK"] = "" # 这里需要修改为自己的实际值。
复制链接

扫一扫