【langchain入门】使用​​langchain​​搭建自己的本地知识库系统

什么是 RAG

RAG 是retrieval-augmented-generation的缩写，翻译为中文的意思就检索增强，以基于最新，最准确的数据建立LLM 的语料知识库。

LLM 现存的痛点

我们知道 LLM 的知识库是通过现有的网络公开的数据作为数据源来训练的，现在公开的很多模型他们基于的训练数据会比我们现在网络上公开的数据早很多，那自然就会产生一种问题，网络上最新的数据和知识 LLM 是不知道。还有一种情况就是很多企业他们对自己的数据的安全做的很好，也就是私有化数据（这些数据是有价值的，也是企业的立足之本）。这些数据网络上肯定是不存在，那自然 LLM 也是不知道的。

我们在提问LLM 对于一些不知道的知识时候，LLM 很多时候是不知道如何回答问题的。甚至会对我们的问题进行胡诌随机回答，也就是瞎说。

如何解决

那如何让 LLM 知道这些最新/私有的数据的知识呢❓

那就是 RAG。通过将模型建立在外部知识来源的基础上来补充回答。从而提高 LLM 生成回答的质量。

在基于 LLM实现的问答系统中使用 RAG 有三方面的好处：

• 确保 LLM 可以回答最新，最准确的内容。并且用户可以访问模型内容的来源，确保可以检查其声明的准确性并最终可信。
• 通过将 LLM建立在一组外部的、可验证的事实数据之上，该模型将信息提取到其参数中的机会更少。这减少了 LLM 泄露敏感数据或“幻觉”不正确或误导性信息的机会。
• RAG 还减少了用户根据新数据不断训练模型并随着数据的变化更新训练参数的需要。通过这种方式企业可以减低相关财务成本。

现在支撑所有基础模型的是一种称为 transformer 的 AI 架构。它将大量原始数据转换为其基本结构的压缩表示形式。从这种原始表示开始，基础模型可以适应各种任务，并对标记的、特定于领域的知识进行一些额外的微调。

但是，仅靠微调很少能为模型提供在不断变化的环境中回答高度具体问题所需的全部知识，并且微调的时间周期还比较长。所以当时的 Facebook提出了 RAG，让 LLM 能够访问训练数据之外的信息。RAG 允许 LLM 建立在专门的知识体系之上，以更准确的方式回答问题。

简单介绍

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。它使应用程序能够：

• 具有上下文感知 能力：将语言模型与上下文源（提示说明、少量镜头示例、基于其响应的内容等）联系起来。
• 原因：依靠语言模型进行推理（关于如何根据提供的上下文回答，采取什么行动等）

更多的介绍可以去官网：Introduction | 🦜️🔗 Langchain

安装 langchain 相关依赖包

• pip install langchain
• pip install langchain-community
• pip install langchain-core
• pip install langchain-experimental
• pip install langchain-experimental
• pip install “langserve[all]”
• pip install langchain-cli
• pip install langsmith

实现知识库

相关配置

如果你是不使用的 chat 那么，你需要参考官网的关于 model I/O的部分去实例化你对应的 LLM model

本文中的LLM 使用的是 AZURE 的服务。

代码语言：javascript

import os
 os.environ["AZURE_ENDPOINT"] = ""
 os.environ["AZURE_KEY"] = ""

embedding model 账户配置

根据自己的实际 LLM情况去配置相关的参数

代码语言：javascript

import os
 os.environ["AZURE_ENDPOINT"] = ""
 os.environ["AZURE_API_KEY"] = ""
 os.environ["API_VERSION"] = "2023-05-15"
 os.environ["API_TYPE"] = "azure"

RAG 增强检索的流程图

使用​​langchain​​搭建自己的本地知识库系统_API

代码执行流程

• 加载 langchain 相关包
• 加载 url 网页的文档并生成 langchain Document raw_documents
• 将 raw_documents 拆分为适合 embedding model 能够处理大小的 chunk 小文档。
• 使用 embedding model API 将小的 chunk 向量化，并保存向量数据库
• 构建 `RAG prompt提示，并使用变量{context}``{question}`, 并限定回答问题所使用的文本
• 使用 LCEL 表达式构建 RAG chain
• 在 app/server.py 中添加 add_routes(app, rag_chroma_chain, path="/dify") 代码
• 执行代码 langchain serve 启动服务

代码实现

导入 langchain 的 百度千帆 embedding model

代码语言：javascript

from langchain_community.embeddings import QianfanEmbeddingsEndpoint

我这里使用的百度千帆的 embedding model 具体你要使用什那个产品的 embedding model 在对应的地方修改为自己的即可。

embedding model 的作用有两点

• 将我们拆分后的 documents 做向量化，然后并保存到对应的向量数据库中。
• 用户在查找相关问题的时候，先从向量数据库中查找出相似的文档

也就是提供了存储和查询的功能。

定义 embedding model的初始化

代码语言：javascript

import os
  def embedQianfan():
      os.environ["QIANFAN_AK"] = "" # 这里需要修改为自己的实际值
      os.environ["QIANFAN_SK"] = "" # 这里需要修改为自己的实际值
      embed = QianfanEmbeddingsEndpoint()
      return embed

定义 AI 实现

根据自己的账户情况去配置相关参数

代码语言：javascript

def LLM() -AzureChat:
      # 设置环境变量
      os.environ["AZURE_ENDPOINT"] = ""
      os.environ["AZURE_API_KEY"] = ""
      # os.environ["API_VERSION"] = "2023-05-15"
      # os.environ["API_TYPE"] = "gpt-35-turbo"
      from langchain import AzureChat
      `LLM ` = AzureChat(
          azure_deployment="gpt-4",
          openai_api_version="2023-05-15"
      )
      return LLM

OpenAI

如果你用的是 AI 官方的服务，那么使用就更加的简单了

代码语言：javascript

os.environ["KEY"] = getpass.getpass()
  `LLM ` = Chat(model_name="gpt-3.5-turbo", temperature=0)

整体代码实现详解

代码语言：javascript

# 导入 langchain 相关的依赖包
 
  # 导入向量数据库（向量存储、查询）
  from langchain_community.vectorstores import Chroma
 
  # 导入 langchain 输出函数(格式化输出)
  from langchain_core.output_parsers import StrOutputParser
 
  # 导入 langchain Prompt 模板, prompt 管理
  from langchain_core.prompts import ChatPromptTemplate
  from langchain_core.pydantic_v1 import BaseModel
 
  # 导入 langchain 的 LCEL 解释器包
  from langchain_core.runnables import RunnableParallel, RunnablePassthrough
 
  # 导入langchain 文本拆分器
  from langchain.text_splitter import RecursiveCharacterTextSplitter
 
  # 导入 langchain 的文件加载器 (WebBaseLoader的功能是拉取网页数据，解析为 langchain Document 结构)
  from langchain_community.document_loaders import WebBaseLoader
 
  #  加载网页 https://docs.dify.ai/v/zh-hans/getting-started/readme 的数据
  raw_documents = WebBaseLoader("https://docs.dify.ai/v/zh-hans/getting-started/readme").load()
  # raw_documents = WebBaseLoader("https://docs.dify.ai/v/zh-hans/guides/knowledge-base").load()
 
  # 将网页数据拆分为 chunk 的大小
  text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
  all_splits = text_splitter.split_documents(raw_documents)
 
  # 将文本编码为向量，并保存为向量
  vectorstore = Chroma.from_documents(
      documents=all_splits,
      collection_name="rag-chroma",
      embedding=embedQianfan(),
  )
  retriever = vectorstore.as_retriever()
 
  # 构建 `RAG` prompt
  template = """Answer the question with chinese and based only on the following context:
  {context}
 
  Question: {question}
  """
  prompt = ChatPromptTemplate.from_template(template)
 
  # 初始化`LLM `
  # model = ChatOpenAI()
  model = openai`LLM `()
  # 使用 LCEL 表达式构建 `RAG` chain
  chain = (
          RunnableParallel({"context": retriever, "question": RunnablePassthrough()})
          | prompt
          | model
          | StrOutputParser()
  )
 
 
  # Add typing for input
  class Question(BaseModel):
      __root__: str
 
  chain = chain.with_types(input_type=Question)
 
  #
  print(chain.invoke("dify 是什么"))
  print(chain.invoke("dify 能干什么？请用列表形式回答"))
  print(chain.invoke("dify 可以导入哪些数据？"))
  print(china.invoke("dify如何导入 nation 数据？"))

启动项目

如果你使用的是 langchain serve 构建的，那么你可以按下面的启动命令启动服务。服务你只是一个单文件，那么执行 python 你的文件你的文件

代码语言：javascript

langchain serve

代码语言：javascript

langchain serve
  <INFO:     Will watch for changes in these directories: ['/Users/oo7/Developer/langchain/chat`LLM `']
  INFO:     Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit)
  INFO:     Started reloader process [87768] using WatchFiles
  [INFO] [02-28 16:30:15] openapi_requestor.py:316 [t:140704718436288]: requesting `LLM ` api endpoint: /embeddings/embedding-v1
  [INFO] [02-28 16:30:15] oauth.py:207 [t:140704718436288]: trying to refresh access_token for ak `r5KIlr***`
  [INFO] [02-28 16:30:15] oauth.py:220 [t:140704718436288]: sucessfully refresh access_token
  INFO:     Started server process [87777]
  INFO:     Waiting for application startup.
 
   __          ___      .__   __.   _______      _______. _______ .______     ____    ____  _______
  |  |        /   \     |  \ |  |  /  _____|    /       ||   ____||   _  \    \   \  /   / |   ____|
  |  |       /  ^  \    |   |  | |  |  __     |   (----`|  |__   |  |_)  |    \   /   /  |  |__
  |  |      /  /_\  \   |  . `  | |  | |_ |     \   \    |   __|  |      /      \      /   |   __|
  |  `----./  _____  \  |  |\   | |  |__| | .----)   |   |  |____ |  |\  ----.  \    /    |  |____
  |_______/__/     __\ |__| __|  ______| |_______/    |_______|| _| `._____|   __/     |_______|
 
  LANGSERVE: Playground for chain "/pirate-speak/" is live at:
  LANGSERVE:  │
  LANGSERVE:  └──/pirate-speak/playground/
  LANGSERVE:
  LANGSERVE: Playground for chain "/dify/" is live at:
  LANGSERVE:  │
  LANGSERVE:  └──/dify/playground/
  LANGSERVE:
  LANGSERVE: See all available routes at /docs/

启动成功后访问地址： http://127.0.0.1:8000/dify/playground/

提问示例

• dify 是什么？
• dify 能干什么？请用列表形式回答

切换文档后继续提问，观察输出

• dify 可以导入哪些数据？

注意点：

1、文件拆分

代码语言：javascript

text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)

文本拆分一定需要注意 embedding model 窗口所能处理的 token 数量。 如果超出则会出问题。

总结：

本文主要是介绍了如何使用 langchain 构建一个自己的知识库系统

• 介绍了知识库构建的 RAG 相关的知识
• LLM 不能做什么，如何将最新的数据于 llm 相结合来提示 llm 的能力
• langchain 的基本介绍，他是一个用于开发由语言模型驱动的应用程序的框架
• 向量数据库的作用：存储向量化后的文本然后提供查找语义相关的内容
• 构建知识库的步骤和相关代码的介绍

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。

• 内容：

  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

• 内容：

  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.3 流水线工程
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

• 内容：

  • L3.1 Agent模型框架
  • L3.2 MetaGPT
  • L3.3 ChatGLM
  • L3.4 LLAMA
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

• 内容：

  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​