RAG实战1 - 使用Mistral-7b, LangChain, ChromaDB搭建自己的WEB聊天界面

已于 2024-01-24 21:05:16 修改
阅读量446 收藏 5
点赞数
分类专栏： LLM 文章标签： 人工智能 语言模型
于 2024-01-13 19:00:29 首次发布
原文链接：https://mp.weixin.qq.com/s/VplqlXqIZrBYNU6o_ju_FA
版权

转载自：LLM之RAG实战（一）：使用Mistral-7b, LangChain, ChromaDB搭建自己的WEB聊天界面
https://mp.weixin.qq.com/s/VplqlXqIZrBYNU6o_ju_FA

文章目录

在这里插入图片描述

一、RAG介绍

如何使用没有被LLM训练过的数据来提高LLM性能？

检索增强生成（RAG）是未来的发展方向，下面将解释一下它的含义和实际工作原理。

假设您有自己的数据集，例如来自公司的文本文档。如何让ChatGPT和其他LLM了解它并回答问题？

这可以通过四个步骤轻松完成：

  1. Embedding：使用embedding模型对文档进行 embedding 操作，比如OpenAI的text-Embedding-ada-002或 S-BERT（https://arxiv.org/abs/1908.10084）。
    将文档的句子或单词块转换为 数字向量。
    就向量之间的距离而言，彼此相似的句子应该很近，而不同的句子应该离得更远；
  2. Vector Store：embedding文档之后就可以把它们存储在矢量存储中，比如ChromaDB、FAISS 或 Pinecone。
    矢量存储就像一个数据库，但顾名思义，它对矢量嵌入进行索引和存储，以实现快速检索和相似性搜索；
  3. Query：既然你的文档已经嵌入并存储，当你向LLM提出特定问题时，它会embedding你的查询，并在向量存储中找到余弦相似度最接近你问题的句子；
  4. Answering Your Question：一旦找到最接近的句子，它们就会被注入到Prompt中，就这样！
    LLM现在可以在没有经过任何再训练或微调的情况下，回答有关数据的特定问题！

整体的架构，如下图所示：

在这里插入图片描述

PS：有关RAG的更多信息，请查看IBM高级研究科学家Marina Danilevsky的这段来自IBM的精彩视频，地址是：https://www.youtube.com/watch?v=T-D1OfcDW1M。

二、安装python环境以及相关的包

pip install gradio --quiet
pip install xformer --quiet
pip install chromadb --quiet
pip install langchain --quiet
pip install accelerate --quiet
pip install transformers --quiet
pip install bitsandbytes --quiet
pip install unstructured --quiet
pip install sentence-transformers --quiet

三、导入相关包

import torch
import gradio as gr

from textwrap import fill
from IPython.display import Markdown, display

from langchain.prompts.chat import (
    ChatPromptTemplate,
    HumanMessagePromptTemplate,
    SystemMessagePromptTemplate,
)

from langchain import PromptTemplate
from langchain import HuggingFacePipeline

from langchain.vectorstores import Chroma
from langchain.schema import AIMessage, HumanMessage
from langchain.memory import ConversationBufferMemory
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.document_loaders import UnstructuredMarkdownLoader, UnstructuredURLLoader
from langchain.chains import LLMChain, SimpleSequentialChain, RetrievalQA, ConversationalRetrievalChain

from transformers import BitsAndBytesConfig, AutoModelForCausalLM, AutoTokenizer, GenerationConfig, pipeline

import warnings
warnings.filterwarnings('ignore')

四、Mistral-7b模型介绍

Mistral-7B是由Mistral AI开源的，在多个benchmark上超过LLaMA2，如下图所示：

在这里插入图片描述

下面将使用Mistral AI开发的基础LLM Mistral-7b建立了一个文本生成Pipeline，对其进行量化、分词和生成参数进行配置：

  • quantiation_config=BitsAndBytesConfig（…）：这里，使用BitsAndBytesConfig定义量化配置。
    量化是一种用于降低深度学习模型的内存和计算需求的技术，通常通过使用更少的比特（在我们的情况下为4比特）来表示模型参数；
  • tokenizer=AutoTokenizer.from_pretrained（…）：这一行初始化Mistral-7b模型的tokenizer，允许您预处理输入到模型的文本数据；
  • model=AutoModelForCausalLM.from_pretrained（…）：这初始化了用于因果语言建模的预训练语言Mistral-7b模型。
    该模型配置有各种参数，包括先前设置的量化配置；
  • generation_config=GenerationConfig.from_pretrained（…）：为模型创建一个生成配置，指定各种与生成相关的设置，如令牌的最大数量、采样温度、top-p采样和重复惩罚；
  • pipeline=pipeline（…）：最后，使用pipeline函数创建一个文本生成管道。
    这个管道是为文本生成而设置的，它将预先训练的模型、标记器和生成配置作为输入。它被配置为返回全文输出。
MODEL_NAME = "mistralai/Mistral-7B-Instruct-v0.1"

quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_quant_type="nf4", 
    bnb_4bit_use_double_quant=True,
)

tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, use_fast=True)
tokenizer.pad_token = tokenizer.eos_token

model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME, torch_dtype=torch.float16,
    trust_remote_code=True,
    device_map="auto",
    quantization_config=quantization_config
)

generation_config = GenerationConfig.from_pretrained(MODEL_NAME)
generation_config.max_new_tokens = 1024
generation_config.temperature = 0.0001
generation_config.top_p = 0.95
generation_config.do_sample = True
generation_config.repetition_penalty = 1.15

pipeline = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    return_full_text=True,
    generation_config=generation_config,
)

HuggingFacePipeline是一个允许您在本地运行Hugging Face模型的类，它用于访问和利用Hugging Face Model Hub上托管的各种预先训练的ML模型。

在我们的案例中，我们将在 LangChain 环境中使用它作为本地包装器与Hugging Face模型进行交互。

然而，当使用HuggingFacePipeline时，建议安装xformer（https://github.com/facebookresearch/xformers），以实现更高效的内存注意力实现。这就是我们在上面安装它的原因！

llm = HuggingFacePipeline(    pipeline=pipeline,    )

在将我们的基础LLM Mistral-7b连接到我们的私人数据之前。

首先，让我们问一些一般性的问题。当然，它将根据在训练前获得的一般知识做出回应。

query = "Explain the difference between ChatGPT and open source LLMs in a couple of lines."
result = llm(
    query
)

display(Markdown(f"<b>{query}</b>"))
display(Markdown(f"<p>{result}</p>"))

在这里插入图片描述

看起来回答的不错！如果我们问它一个在预训练阶段没有遇到的问题，会发生什么？

query = "What is Hiberus GenIA Ecosystem?"
result = llm(
    query
)

display(Markdown(f"<b>{query}</b>"))
display(Markdown(f"<p>{result}</p>"))

在这里插入图片描述

这不是预期的答案。GenIA生态系统甚至比这更酷，这是因为Mistral-7b LLM在预训练期间从未见过任何关于GenIA生态的信息。我保证在接下来的章节中引导您获得正确答案。

五、Embedding模型

在配置基础LLM之后，我们继续来配置embedding模型。

正如您所知，每个文档都应该转换为embedding向量，以便使用用户的查询进行语义搜索，该查询也应该被embedding。

为了实现这一点，我们将利用阿里巴巴大摩学院预训练并在Hugging Face上开源的embedding模型GTE（https://arxiv.org/abs/2308.03281）。

值得注意的是，这个模型既免费又强大。

为了完成我们的任务，我们将使用 HuggingFaceEmbeddings 类，这是一个本地管道包装器，用于与Hugging Face Hub上托管的GTE模型进行交互。

embeddings = HuggingFaceEmbeddings(
    model_name="thenlper/gte-large",
    model_kwargs={"device": "cuda"},
    encode_kwargs={"normalize_embeddings": True},
)

六、Prompt Template

PromptTemplate通过结构化Prompt格式使模型按照用户期望的格式进行输出，模板可以包括指令、few-shot例子以及适合特定任务的特定上下文和问题。

template = """
[INST] <>
Act as a Machine Learning engineer who is teaching high school students.
<>

{text} [/INST]
"""

prompt = PromptTemplate(
    input_variables=["text"],
    template=template,
)

我们来看一下效果：

query = "Explain what are Deep Neural Networks in 2-3 sentences"
result = llm(prompt.format(text=query))

display(Markdown(f"<b>{query}</b>"))
display(Markdown(f"<p>{result}</p>"))

在这里插入图片描述

七、数据加载

数据加载流程，如下图所示：

在这里插入图片描述

为了准确回答我们之前的问题（What is Hiberus GenIA Ecosystem?），我们必须将LLM与GenIA生态系统的信息联系起来。

很幸运！有两个网页是理解GenIA生态系统的关键。

urls = [
    "https://www.hiberus.com/expertos-ia-generativa-ld",
    "https://www.hiberus.com/en/experts-generative-ai-ld"
]

loader = UnstructuredURLLoader(urls=urls)
documents = loader.load()

len(documents)
# Output

由于这两个文档数据量较大，以及超过了Mistral-7b大模型的上下文窗口大小，因此我们需要将文档按照1024个tokens大小进行切分，生成21个较小的chunks，并且为了保证上下文的连续性，chunk与chunk直接设置64个重叠tokens，代码如下：

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1024, chunk_overlap=64)
texts_chunks = text_splitter.split_documents(documents)

len(texts_chunks)

八、数据注入

对数据分块之后，我们将对分块数据进行embedding并存储到向量数据库Chromdb中

db = Chroma.from_documents(texts_chunks, embeddings, persist_directory="db")

数据被添加索引之后，我们可以在Prompt模板中添加RAG模型赋予营销经理专家的角色！

此外，为了将LLM与矢量数据库检索功能相结合，我们使用了关键的链接组件RetrievalQA，其中k=2。

这种设置确保检索器输出两个相关的块，然后LLM在提出问题时使用这两个块来制定答案。

template = """
[INST] <>
Act as an Hiberus marketing manager expert. Use the following information to answer the question at the end.
<>

{context}

{question} [/INST]
"""

prompt = PromptTemplate(template=template, input_variables=["context", "question"])

qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=db.as_retriever(search_kwargs={"k": 2}),
    return_source_documents=True,
    chain_type_kwargs={"prompt": prompt},
)

九、查询

执行完上述步骤，我们就可以进行查询了。

例子一：

query = "What is GenAI Ecosystem?"
result_ = qa_chain(
    query
)
result = result_["result"].strip()


display(Markdown(f"<b>{query}</b>"))
display(Markdown(f"<p>{result}</p>"))

在这里插入图片描述

例子二：

query = "Why Hiberus has created GenAI Ecosystem?"
result_ = qa_chain(
    query
)
result = result_["result"].strip()


display(Markdown(f"<b>{query}</b>"))
display(Markdown(f"<p>{result}</p>"))

在这里插入图片描述

这两个问题的答案都符合预期，包括我们之前错过的那个问题。我们还可以输出LLM生成答案的源文档或参考文档。

result_["source_documents"]

十、问答

为了实现问答功能，我们首先对Prompt模板进行一些调整。

然后，我们使用ConversationBufferMemory将对话存储在内存中，然后稍后检索消息。

最后，使用链接组件ConversationalRetrievalChain将我们的LLM Mistral-7b与矢量数据库和聊天历史相结合。问答系统整体架构，如下图所示：

在这里插入图片描述

custom_template = """You are an Hiberus Marketing Manager AI Assistant. Given the
following conversation and a follow up question, rephrase the follow up question
to be a standalone question. At the end of standalone question add this
'Answer the question in English language.' If you do not know the answer reply with 'I am sorry, I dont have enough information'.
Chat History:
{chat_history}
Follow Up Input: {question}
Standalone question:
"""

CUSTOM_QUESTION_PROMPT = PromptTemplate.from_template(custom_template)

memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)

qa_chain = ConversationalRetrievalChain.from_llm(
    llm=llm,
    retriever=db.as_retriever(search_kwargs={"k": 2}),
    memory=memory,
    condense_question_prompt=CUSTOM_QUESTION_PROMPT,
)

我们来测试一下问答功能：

query = "Who you are?"
result_ = qa_chain({"question": query})
result = result_["answer"].strip()

display(Markdown(f"<b>{query}</b>"))
display(Markdown(f"<p>{result}</p>"))

在这里插入图片描述

query = "What is GenIA Ecosystem?"

result_ = qa_chain({"question": query})
result = result_["answer"].strip()

display(Markdown(f"<b>{query}</b>"))
display(Markdown(f"<p>{result}</p>"))

在这里插入图片描述

我们可以通过查看HumanMessages中的问题和AIMessages中的模型响应来获取聊天的历史记录。

memory.chat_memory.messages

十一、基于Gradio搭建问答UI界面

我之前写过一篇一键部署Huggingface模型工具Gradio介绍过Gradio的具体使用，Gradio具有用户友好的网络界面，任何人都可以从任何地方访问！

它的工作原理如下：我们设置了一个名为querying()的函数，它将查询作为主要输入，并使用一个名为history的名称巧妙的假参数来解决一个小问题。

当你启动这个函数时，它会返回我们的超级明星模型Mistral-7b生成的响应。

def querying(query, history):
  memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)

  qa_chain = ConversationalRetrievalChain.from_llm(
      llm=llm,
      retriever=db.as_retriever(search_kwargs={"k": 2}),
      memory=memory,
      condense_question_prompt=CUSTOM_QUESTION_PROMPT,
  )

  result = qa_chain({"question": query})
  return result["answer"].strip()

启动Gradio聊天界面

iface = gr.ChatInterface(
    fn = querying,
    chatbot=gr.Chatbot(height=600),
    textbox=gr.Textbox(placeholder="What is GenAI Ecosystem?", container=False, scale=7),
    title="HiberusBot",
    theme="soft",
    examples=["Why Hiberus has created GenAI Ecosystem?",
              "What is GenAI Ecosystem?"],

    cache_examples=True,
    retry_btn="Repetir",
    undo_btn="Deshacer",
    clear_btn="Borrar",
    submit_btn="Enviar"

    )

iface.launch(share=True)

最终展示的聊天界面，如下图所示：

在这里插入图片描述

参考文献：

[1] https://medium.com/@zekaouinoureddine/ask-your-web-pages-using-mistral-7b-langchain-f976e1e151ca
[2] https://arxiv.org/abs/2005.11401
[3] https://arxiv.org/abs/2310.06825
[4] https://arxiv.org/abs/2308.03281
[5] https://www.youtube.com/watch?v=PuU_qf23u_8

小然爱看
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
大模型和向量数据库怎么搭建 RAG 系统？Step by step 例子来了。
大数据和云计算技术
03-15 1008
RAG 介绍RAG是一种先进的自然语言处理方法，它结合了信息检索和文本生成技术，用于提高问答系统、聊天机器人等应用的性能。以下是RAG的详细工作流程：RAG 的工作流程RAG的工作流程文档加载（Document Loading）从各种来源加载大量文档数据。这些文档将作为知识库，用于后续的信息检索。文档分割（Document Splitting）将加载的文档分割成更小的段落或部分。这有助于提高检索的...
LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持 FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embe
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-27 1万+
​ LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embedding模型m3e等+多种TextSplitter分词器)、安装(镜像部署【AutoDL云平台/Docker镜像】，离线私有部署+支持RTX3090 ，支持FAISS/Milvus/PGVector向量库， 基于LangChain 框架+FastAPI的API调用服务+Streamlit 的WebUI操作
【理论+实战】带你全面了解 RAG，深入探讨其核心范式、关键技术及未来趋势
2301_78285120的博客
01-10 2438
大家好，关于RAG实战文章已经写了三篇了，有兴趣可以自行去看一下。用通俗易懂的方式讲解：在 Langchain 中建立一个多模态的 RAG 管道用通俗易懂的方式讲解：大模型 RAG 在 LangChain 中的应用实战用通俗易懂的方式讲解：一文讲清大模型 RAG 技术全流程学习技术，实战固然重要，关于RAG的核心范式、关键技术及未来趋势同样值得关注，今天分享一下：大型语言模型（LLMs）已经成为我们生活和工作的一部分，它们以惊人的多功能性和智能化改变了我们与信息的互动方式。
学习笔记 | 茴香豆：搭建你的RAG智能助理
最新发布
DrFlown的博客
04-18 690
拒答分数在检索过程中通过与示例问题的相似性检索得出，高质量的问题得分高，无关、低质量的问题得分低。需要注意的是，这里启用的远程模型，只用在问答分析和问题生成，依然需要本地嵌入、重排序模型进行特征提取。检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。增强搜索利用知识领域的源文件建立图数据库，当模型判断问题为无关问题或回答失败时，增强搜索功能将利用 LLM 提取的关键词在该图数据库中搜索，并尝试用搜索到的内容重新生成答案。
【AI大模型应用开发】3.2 RAG实战 - RAG应用+UI实现加载本地文件并对话
同学小张的博客
02-03 1913
前面我们实现了RAG基本流程，今天我们在此基础上给它加个UI界面，在浏览器打开，实现上传本地文件、解析，并用大模型实现与该文档的对话。也就是一个阉割版demo版的ChatPDF或知识库对话系统。
手把手系列！无需 OpenAI 即可搭建 RAG 应用
ZILLIZ
01-25 1131
在之前的文章中，我们介绍了 RAG 应用典型的技术栈——CVP（注：CVP 全称为 ChatGPT + Vector Database + Prompt as code，即 ”以 ChatGPT 为代表的 LLM + 向量数据库 + Prompt”）。本文搭建的 RAG 应用将在此技术栈基础上进行微调，将 ChatGPT 的 LLM 替换为 Hugging Face 上的 Embedding 模型，将 LangChain 用于管理 Prompt，并使用 Milvus 作为向量数据库。，用于加载环境变量。
Chat Towards Data Science｜如何用个人数据知识库构建 RAG 聊天机器人？
ZILLIZ
10-25 180
我们演示了网页爬取的过程，创建了知识库，包括将文本转换成向量存储在 Zilliz Cloud 中。然后，我们演示了如何提示用户进行查询，将查询转化为向量，并查询向量数据库。在本项目中，我们使用了一个单独的 notebook 将数据导入到 Zilliz Cloud，而不是从 Towards Data Science 进行网页抓取。提取文章的每个段落，并使用我们的 HuggingFace 模型获得对应的向量。请注意其中的 embedding，这些数据表示了文档向量，也就是我们根据文章段落生成的向量。
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG-优质大模型部署项目实战.zip
04-09
RAG部署_使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG_优质大模型部署项目实战
基于langchain的RAG实战
02-19
基于langchain的RAG实战
LLM-RAG-WEB 大模型本地知识库召回
03-01
https://github.com/lonngxiang/LLM-RAG-WEB
使用langchain+千问72b+m3e-large+chroma的对话机器人源码python实现
02-19
1.使用langchain 2.使用langchain调用本地llm模型、embedding模型、数据库 3.使用langchain的LCEL 4.Retrieval-Augmented Generation，简称RAG的实现方式 5.文档分割、拆分 6.高级prompt的实现方法 7.从搭建知识库到...
MC33064P-5RAG的技术参数
12-12
产品型号:MC33064P-5RAG工作电压(V):1.0~6.5复位门限(V):4.600门限滞后(mV):20低电平复位:√高电平复位:－工作电流典型值(uA):390封装/温度(℃):TO-92/--40~85价格/1片(套):￥2.79 
大模型 搭建知识库 RAG
qq_44496832的博客
02-12 892
LLM具有强大的语言理解和生成能力，当下存在一些局限性，失效受制、专业能力有限和定制成本高。有两种开发范式RAG（实时更新）和Finetune（个性化微调）。RAG 检索增强生成基于langchain搭建rag应用构建向量数据库搭建知识库助手基于gradio的web部署。
LLM之RAG实战（十九）| 利用LangChain、OpenAI、ChromaDB和Streamlit构建RAG
wshzd的博客
01-21 1122
通过Streamlit的初始化和布局设计，用户可以上传文档和管理数据。我们的RAG聊天应用程序利用了LangChain的RetrievalQA和ChromaDB，通过从ChromaDB的嵌入式数据中提取的相关、准确的信息有效地响应用户查询，体现了先进的Generative AI功能。本文，我们探讨了使用OpenAI、ChromaDB和Streamlit构建LLM应用程序的复杂性，介绍了设置环境、处理文档、创建和存储嵌入以及构建用户友好的聊天界面，展示了RAG和ChromaDB的强大组合。
RAG+GIS实战：离线RAG项目实战01——环境配置+简单对话模型搭建
weixin_44035336的博客
03-20 1720
一个基于Modelscope框架实现的RAG项目实战全流程，注重离线化、私有化部署，欢迎一起学习！
大模型学习笔记五：RAG
谢白羽
03-04 1057
1、LLM 的知识不是实时的2、LLM 可能不知道你私有的领域/业务知识搭建过程：1、文档加载，并按一定条件切割成片段2、将切割的文本片段灌入检索引擎3、封装检索接口4、构建调用流程：Query -> 检索 -> Prompt -> LLM -> 回复1、文档加载2、文档切分3、向量化4、灌入向量数据库。
LLM之RAG实战（二）：使用LlamaIndex + Metaphor实现知识工作自动化
wshzd的博客
12-04 959
本文将介绍LlamaIndex和Metaphor的集成来实现RAG：将LlamaIndex数据代理的功能与Metaphor作为一种本地LLM搜索工具相结合，使知识工作者能够回答任何数据上的任何问题，无论是最近的还是复杂的。我们的LoadAndSearchToolSpec嵌入了任何可能返回大量数据的工具，并将其分为两个工具：一个是将数据动态存储在索引中的加载工具，另一个是允许在该索引上进行搜索的搜索工具。根据人们在互联网上谈论事物的方式，Metaphor被训练来预测互联网上的链接。
LLM之RAG实战（十四）| 利用LongContextRetriver克服RAG中的中间丢失现象
wshzd的博客
01-13 1092
研究测试了七种语言模型，包括开源大模型和闭源大模型，包括新的GPT-3.5 16K和Claude 1.3 100K，它们的性能都显示出U型曲线模式，对于在文本开头或结尾找到解决方案的任务，效果更好。根据他们的发现，当这些模型检索信息时，当相关数据位于输入的开始或结束时，它们的性能是最优的。合并后的结果将是与查询相关的文档列表，这些文档已由不同的检索器进行了排序。它首先从所有检索器获取相关文档，然后合并它们，合并后的结果将是与查询相关的文档列表，这些文档已由不同的检索器进行了排序。
RAG检索增强技术在知识库智能检索场景下的应用实践
FrenzyTechAI的博客
12-18 5367
本文我们主要探讨了知识检索增强（Retrieval-Augmented Generation, RAG）技术的关键评估方法和行业应用，以及几种现有的技术栈选择及其优缺点。首先，关于RAG的效果评估，我们提到了两种主要的评估方式：独立评估和端到端评估。独立评估包括检索评估和生成评估，重点在于分别量化检索结果的质量和生成问题的能力。端到端评估则结合了无标签和有标签的评估指标，以及人工或GPT模型的评估方法，以获得更全面的效果评价。
RAG - 使用 langchain
02-28
RAG（Retrieval-Augmented Generation）是一种基于检索的生成模型，它结合了检索和生成两种方法，用于生成有关特定主题的文本。RAG模型使用了一个预训练的语言模型（如GPT）和一个检索模型（如DPR），通过在生成过程中引入检索结果来提高生成文本的质量和相关性。 langchain是一个开源项目，它提供了一个用于构建RAG模型的框架。它使用了Hugging Face的transformers库和DPR库，使得构建和训练RAG模型变得更加简单和高效。 使用langchain构建RAG模型的一般步骤如下： 1. 准备数据集：收集相关的文本数据集，并将其转换为适合训练RAG模型的格式。 2. 预训练语言模型：使用transformers库中的预训练语言模型（如GPT）对文本数据进行预训练。 3. 训练检索模型：使用DPR库中的检索模型对文本数据进行训练，以便在生成过程中能够有效地检索相关文本。 4. 构建RAG模型：使用langchain框架将预训练的语言模型和训练好的检索模型组合起来，构建RAG模型。 5. 微调RAG模型：使用特定任务的数据集对RAG模型进行微调，以提高生成文本的质量和相关性。 6. 应用RAG模型：将微调后的RAG模型应用于特定的应用场景，如问答系统、文本摘要等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值