LLM RAG 多种方式装载LLM的实践

最新推荐文章于 2025-09-09 16:47:09 发布
原创 最新推荐文章于 2025-09-09 16:47:09 发布 · 1.3k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习 #python

一、大模型系统中检索增强生成（RAG）的意义

当前大模型在处理特定领域或者高度专业化的查询时表现出知识缺失，当所需信息超出模型训练数据范围或需要最新数据时，大模型可能无法提供准确答案。基于行业SOP、行业标准、互联网实时信息等领域外部知识构建私域知识向量模型，设计RAG系统用于多文档、多源数据、多维数据的检索器，设计优化双编码、联合编码等方法的信息生成器，使得生成组件能够更深入地理解问题背后的上下文，并产生更加信息丰富的回答。

二、LLM-RAG的框架设计

整体框架包括 大部分：私域知识的嵌入；文档知识的分割；私域知识的向量化；大模型的装载；问答链的组装；
在这里插入图片描述
1、私域知识的嵌入
借助langchain及llama-index开发框架可满足目前大部分知识形式的嵌入，包括数据库、PDF、word、excel、csv、txt、markdown、知识图谱(neo4j)、图片等。
在这里插入图片描述
Llama-index提供的知识嵌入工具
在这里插入图片描述
Langchain 知识嵌入工具
2、文档知识的分割
我们知道目前的大模型对处理信息的多少有限制，输入到大模型系统内的信息量及其组合将直接影响大模型给出答案的相关性、准确性和及时性。因此对文档知识的合理分割是提升大模型检索增强及生成问答的关键。
文本分割主要考虑两个因素：1）embedding模型的Tokens限制情况；2）语义完整性对整体的检索效果的影响。一些常见的文本分割方式如下：
句分割：以”句”的粒度进行切分，保留一个句子的完整语义。常见切分符包括：句号、感叹号、问号、换行符等。
固定长度分割：根据embedding模型的token长度限制，将文本分割为固定长度（例如256/512个tokens），这种切分方式会损失很多语义信息，一般通过在头尾增加一定冗余量来缓解。

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500, chunk_overlap=150)
split_docs = text_splitter.split_documents(docs)

3、私域知识的向量化
向量化是一个将文本数据转化为向量矩阵的过程，该过程会直接影响到后续检索的效果。目前常见的embedding模型如表中所示，这些embedding模型基本能满足大部分需求，但对于特殊场景（例如涉及一些罕见专有词或字等）或者想进一步优化效果，则可以选择开源Embedding模型微调或直接训练适合自己场景的Embedding模型。
在这里插入图片描述
知识向量化的几种方式：

#modelscope下载：国内推荐
from langchain.embeddings import ModelScopeEmbeddings
model_id = "damo/nlp_corom_sentence-embedding_chinese-base"
#damo/nlp_corom_sentence-embedding_chinese-base
#damo/nlp_corom_sentence-embedding_english-base
embeddings = ModelScopeEmbeddings(model_id=model_id)
#hunggingface下载：国外推荐
embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
#from langchain.embeddings import SentenceTransformerEmbeddings
#embeddings = SentenceTransformerEmbeddings(model_name="all-MiniLM-L6-v2")
# 构建向量数据库
# 加载数据库
vectordb = Chroma.from_documents(
    documents=split_docs,
    embedding=embeddings,
    )

4、大模型的装载
目前基于大模型的应用开发有多种框架，如何根据硬件、场景需求等高效、便捷装载大模型是开发LLM-RAG系统的关键。以下汇总了多种装载方式：
1）基于llama.cpp的cpu低成本装载：主要模型文件来自于hunggingface；
2）基于chatglm.cpp的CPU低成本装载：包括langchian[api]、openai[api]等形式。
3）基于langchain及Hugging Face Local Pipelines装载：支持的模型参考langchian文档中心。
5、问答链的组装
同样的，langchain为我们准备了一些构造好的问答链（langchain chains），包括sql数据库查询链、CSV查询链、html查询链、问答链等。

三、LLM-RAG的实践

1、多种方式低成本装载LLM
① langchain local_model形式

from langchain.llms.base import LLM
from typing import Any, List, Optional
from langchain.callbacks.manager import CallbackManagerForLLMRun
from transformers import AutoTokenizer, AutoModelForCausalLM,pipeline
import torch
from langchain.llms.huggingface_pipeline import HuggingFacePipeline
model_path = "Qwen/Qwen-1_8B-Chat"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True).to(torch.bfloat16).cuda(0)
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, max_new_tokens=200000)
llm = HuggingFacePipeline(pipeline=pipe)

② langchain chatglm.cpp形式
参考chatglm.cpp GitHub网站：https://github.com/li-plus/chatglm.cpp

#安装chatglm.cpp库
!pip install --upgrade pip
!pip install chatglm.cpp[api]
#下载chatglm3-6b cpu量化文件
!git clone https://www.modelscope.cn/tiansz/chatglm3-6b-ggml.git
#启动 chatglm3-6b langchain-api服务
MODEL=./chatglm3-6b-ggml/chatglm3-ggml.bin uvicorn chatglm_cpp.langchain_api:app --host 127.0.0.1 --port 8000

获得chatglm3-6b langchain-api服务地址：http://127.0.0.1:8000
将chatglm3-6b接入langchain框架

endpoint_url = "http://127.0.0.1:8000"
llm = ChatGLM(
    endpoint_url=endpoint_url,
    max_token=1024,
    history=[
        ["我是数据分析师，可以向我查询任何关于数据分析的问题。"]
    ],
    top_p=0.9,
    model_kwargs={"sample_model_args": False},
)

③ langchian llama.cpp形式
llama.cpp是使用原始C ++的项目来重写LLaMa（长格式语言模型）等开源大模型推理代码。这使得可以在各种硬件上本地运行大模型。

#安装llama-cpp
!pip install llama-cpp-python
#从modelscope或者hunggingface下载量化模型：gguf
from modelscope.hub.file_download import model_file_download
model_dir = model_file_download(model_id='mikeee/TheBloke-openbuddy-zephyr-7B-v14.1-GGUF',file_path='openbuddy-zephyr-7b-v14.1.Q4_K_S.gguf',cache_dir='./Qwen')
#载入大模型
from langchain.llms import LlamaCpp
from langchain.prompts import PromptTemplate
from langchain.callbacks.manager import CallbackManager
callback_manager = CallbackManager([StreamingStdOutCallbackHandler()])

n_gpu_layers =0  # Change this value based on your model and your GPU VRAM pool.
n_batch = 5120  # Should be between 1 and n_ctx, consider the amount of VRAM in your GPU.
callback_manager = CallbackManager([StreamingStdOutCallbackHandler()])
# Make sure the model path is correct for your system!
llm = LlamaCpp(
    model_path="./Qwen/mikeee/TheBloke-openbuddy-zephyr-7B-v14.1-GGUF/openbuddy-zephyr-7b-v14.1.Q4_K_S.gguf",
    n_gpu_layers=n_gpu_layers,
    n_batch=n_batch,
    max_tokens=200000,
    n_ctx=8912,
    callback_manager=callback_manager,
    verbose=True,  # Verbose is required to pass to the callback manager
)

2、私有知识的装载及向量化
① 多文档处理

#装载文件
def get_doc(dir_path):
    file_lst = os.listdir(dir_path)
    docs = []
    i = 1
    for file in file_lst:
        file_type = file.split('.')[-1]
       
        #print(file_type)
        if  file_type == 'docx':
            loader = UnstructuredWordDocumentLoader(dir_path+'/'+file)
        elif file_type == 'csv':
            loader = UnstructuredCSVLoader(dir_path+'/'+file)
        elif file_type == 'pdf':
            loader = UnstructuredPDFLoader(dir_path+'/'+file)
        else:
            # 如果是不符合条件的文件，直接跳过
            continue
        docs.extend(loader.load())
        print(str(i)+'-----'+file+'------完成装载')
        i = +1
    return docs

文档分割及向量化

#载入开源向量化模型
from langchain.embeddings import ModelScopeEmbeddings
model_id = "damo/nlp_corom_sentence-embedding_chinese-base"
#damo/nlp_corom_sentence-embedding_chinese-base
#damo/nlp_corom_sentence-embedding_english-base
embeddings = ModelScopeEmbeddings(model_id=model_id)
#文档分割
docs = get_doc('./Qwen')
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500, chunk_overlap=150)
#文档向量化
split_docs = text_splitter.split_documents(docs)
vectordb = Chroma.from_documents(
    documents=split_docs,
    embedding=embeddings
    )

② 单文档处理

#pdf
loader = UnstructuredPDFLoader('./Qwen/2304.08485.pdf')
docs=loader.load()
#docx
loader = UnstructuredWordDocumentLoader('./Qwen/《主数据质量检查报告》LL.docx')
docs=loader.load()
#csv
from langchain.document_loaders.csv_loader import CSVLoader
loader = CSVLoader(file_path="./Qwen/正则式.csv")
docs = loader.load()
#web文件
from langchain.document_loaders import AsyncHtmlLoader
urls = ["https://price.21food.cn/yurou/", "https://price.21food.cn/fushipin/"]
loader = AsyncHtmlLoader(urls)
docs = loader.load()

3、文档：RAG Q&A
使用 RetrievalQA 作为问答链

from langchain.prompts import PromptTemplate

# 我们所构造的 Prompt 模板
template = """你是一个数据治理工程师同时也是一个知识搜索查询工程师，请根据可参考的上下文回答用户的问题，如果用户的问题不清晰且不是给定的上下文覆盖的，请不要乱回答，请回答 抱歉！我尚未学习该知识。
问题: {question}
可参考的上下文：
···
{context}
···
基于用户给定的信息，重新汇总上下文生成精准的回答。
如果给定的上下文无法让你做出回答，请回答你不知道。
有用的回答:"""
# 调用 LangChain 的方法来实例化一个 Template 对象，该对象包含了 context 和 question 两个变量，在实际调用时，这两个变量会被检索到的文档片段和用户提问填充
QA_CHAIN_PROMPT = PromptTemplate(input_variables=["context","question"],template=template)

from langchain.chains import RetrievalQA
qa_chain = RetrievalQA.from_chain_type(llm,retriever=vectordb.as_retriever(),return_source_documents=True,chain_type_kwargs={"prompt":QA_CHAIN_PROMPT})
#Q&A
question = "千信金属产业园主要业务数据以及业务术语有哪些？"
result = qa_chain({"query": question})
print("检索问答链回答 question 的结果：")
print(result["result"])

使用 ConversationalRetrievalChain 问答链检索增强生成

from langchain.memory import ConversationBufferMemory
from langchain.chains import ConversationalRetrievalChain
memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)
bot = ConversationalRetrievalChain.from_llm(llm, retriever=vectordb.as_retriever(),memory=memory,verbose=True,return_source_documents=False)

query = "根基提供的上下文，千信产业园主要业务术语及主数据，并给出数据治理的建议"
result = bot.invoke({"question": query})
result["answer"]

4、问答结果探讨
将某企业的数据治理方向的一些文档做成私有知识库，基于私有知识库回答数据治理方面的问题。
在这里插入图片描述
私有知识库文档
问题一：

query = "根基提供的上下文，千信产业园主数据质量分析情况"
result = bot.invoke({"question": query})
result["answer"]

结果分析：对于私有知识库内确定的知识，整个RAG系统能比较精准的定位检索到用户问题所需的文档及文档块，并给出精准的答案。
在这里插入图片描述
问题二：

query = "根基提供的上下文，千信产业园仓储管理系统主数据质量评分都是多少"
result = bot.invoke({"question": query})
result["answer"]

结果分析：对于文档内存在的表格，目前简单的检索链和问答链无法给出精准的回答，分析原因应该是表格数据的检索还是需要使用CSV文件的嵌入以及CSV-chain才能获取精准的答案。
在这里插入图片描述

LLM应用架构之检索增强（RAG，retrieval-augmented generation）的缘起与架构介绍
强化学习曾小健
09-21 6383
原创 ullyAI工程化收录于合集#领域技术13个#LLM应用架构3个动手点关注本文是LLM应用架构系列的第一篇，将介绍LLM应用开发里最常见的一种架构模式RAG（ Retrieval Augmented Generation），它被广泛应用于知识问答，智能助手等常见LLM应用场景中。在后续文章中还将介绍该模式落地实际过程中的一些常见问题及改进思路，欢迎关注“AI工程化”，持续为大家更新。
使用 RAG 和 LLM 与您的数据库对话
iCloudEnd的博客
10-13 763
检索增强生成 (RAG) 涉及从外部数据库获取当前或上下文相关信息，并在请求大型语言模型 (LLM) 生成响应时将其呈现给大型语言模型 (LLM) 的过程。这种方法有效地解决了生成不正确或误导性信息的问题。您能够存储专有业务数据或全局知识，并使您的应用程序能够在响应生成阶段为 LLM 检索此数据。
LLM之RAG理论（二）| RAG综述论文详解
wshzd的博客
12-24 4012
论文地址：https://arxiv.org/pdf/2312.10997.pdf 大型语言模型（LLMs）展示了强大的能力，但在实际应用中仍面临挑战，如幻觉现象、知识更新缓慢，以及在回答中缺乏透明度。检索增强生成（RAG）指的是在使用LLMs回答问题之前，从外部知识库中检索相关信息。RAG已被证明能显著提高答案的准确性，减少模型的幻觉现象，特别是对于知识密集型任务。通过引用来源，用户可以验证答案的准确性，并增加对模型输出的信任。它还促进了知识更新和特定领域知识的引入。RAG有效地结合
[深入探索ModelScope Embeddings：AI文本嵌入的强大工具]
aehrutktrjk的博客
11-18 583
ModelScope 是一个面向AI研究人员和开发者的模型和数据集仓库。它提供了丰富的深度学习模型和便捷的API接口。通过ModelScope，用户可以轻松加载预训练模型，进行文本嵌入等复杂的AI任务。ModelScope Embeddings提供了一种高效的方式来处理文本数据，使得NLP任务更加简单易行。Embedding model概念指南Embedding model操作指南。
Java开发者LLM实战——使用LangChain4j构建本地RAG系统
京东科技开发者
07-02 3192
RAG（Retrieval-Augmented Generation）的核心思想是：将传统的信息检索（IR）技术与现代的生成式大模型（如chatGPT）结合起来。具体来说，RAG模型在生成答案之前，会首先从一个大型的文档库或知识库中检索到若干条相关的文档片段。再将这些检索到的片段作为额外的上下文信息，输入到生成模型中，从而生成更为准确和信息丰富的文本。RAG的工作原理可以分为以下几个步骤：1.接收请求：首先，系统接收到用户的请求（例如提出一个问题）。2.信息****检索（R)
大模型RAG入门及实践
奇舞周刊
05-14 2096
本文作者系360奇舞团前端开发工程师前言在大语言模型（LLM）飞速发展的今天，LLMs 正不断地充实和改进我们周边的各种工具和应用。如果说现在基于 LLM 最火热的应用技术是什么，检索增强生成（RAG，Retrieval Augmented Generation）技术必占据重要的一席。RAG 最初是为了解决 LLM 的各类问题的产生的，但后面大家发现在现阶段的很多企业痛点上，使用RAG好像是更好的...
#LLM入门 | langchain | RAG # 4.7_聊天_Chat
weixin_45312236的博客
05-23 1038
"""该函数用于加载 PDF 文件，切分文档，生成文档的嵌入向量，创建向量数据库，定义检索器，并创建聊天机器人实例。参数:file (str): 要加载的 PDF 文件路径。chain_type (str): 链类型，用于指定聊天机器人的类型。k (int): 在检索过程中，返回最相似的 k 个结果。返回:qa (ConversationalRetrievalChain): 创建的聊天机器人实例。"""# 载入文档# 切分文档# 定义 Embeddings# 根据数据创建向量数据库。
LangChain实战：使用 RAG 工作流程进行高效信息检索 Efficient Information Retrieval with RAG Workflow
AI天才研究院
10-22 2577
检索增强生成 (RAG) 是一种与预训练的大型语言模型 (LLM) 和您自己的数据配合使用来生成响应的模式。seq2seq它结合了预训练密集检索和序列到序列模型的强大功能。RAG 模型检索文档，将它们传递给 seq2seq 模型，然后边缘化以生成输出。article在我向您介绍 RAG 理论部分的文章的继续部分，我在这里向您介绍 RAG 在代码中的实现。让我们开始使用 Langchain 和 Hugging Face 来实现 RAG！
【深度学习基础】一篇搞懂什么是RAG（检索增强内容生成）？
十二月的猫
08-15 1685
有一个名为LangChain的流行开源库，它可以创建聊天机器人，其中包括用 3 行代码对任何网站/文档进行问答。这是LangChain 文档中的一个示例理解问题根据问题内容在网站/文档中检索信息将其中和问题相关的信息输出")它输出特定于 Paul Graham 文章（greatwork）的答案：注意：如果您有兴趣，可以尝试根据 Paul Graham 的文章构建的聊天机器人。第一次运行它时感觉就像纯粹的魔法。这到底是如何工作的？答案是一个称为。
深入解析 ETL 与 RAG：数据处理的两种关键技术
最新发布
mz159_357的博客
09-09 1095
本文对比分析了数据处理中的ETL和RAG技术。ETL通过抽取、转换、加载三个步骤，将原始数据加工为结构化数据供分析使用；RAG则通过检索外部知识库并增强生成，帮助大模型回答问题。文章指出RAG前期也包含类似ETL的数据预处理流程，包括文本分块、向量化等操作。两者区别在于：ETL面向机器分析，输出结构化数据；RAG面向人类问答，输出自然语言回答。未来趋势是整合两种技术，实现数据在分析和问答中的共享应用。
借助知识图谱和Llama-Index实现基于大模型的RAG
sinat_19559525的博客
02-18 1497
编写一个查询，指定要探索的模式或关系。下面是一个简单的示例，展示了如何查询图数据库：假设你有一个代表社交网络的图数据库，其中用户是节点，而它们的关系（例如友谊）由连接节点的边表示。例如，知识图谱可以告诉你“埃菲尔铁塔”是“巴黎”的地标，而向量数据库只能表示这两个概念的相似程度。以下是查询向量数据库的简单示例：假设你有一个包含客户配置文件的向量数据库，这些配置文件表示为高维向量，你想找到与给定参考客户相似的客户。最终，两者之间的选择取决于项目的需求，包括数据的性质、关系探索的需要以及预期的查询类型。
一文搞懂大模型RAG应用（附实践案例）
热门推荐
AIPHIL的博客
11-21 2万+
大模型（Large Language Model，LLM）的浪潮已经席卷了几乎各行业，但当涉及到专业场景或行业细分领域时，通用大模型就会面临专业知识不足的问题。相对于成本昂贵的“Post Train”或“SFT”，基于RAG的技术方案往往成为一种更优选择。本文从RAG架构入手，详细介绍相关技术细节，并附上一份实践案例。检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。知识的局限性。
LLM之RAG实战（十三）| 利用MongoDB矢量搜索实现RAG高级检索
wshzd的博客
01-06 3058
但是，当你在一个特定的主题上寻求智慧时，比如神秘的百慕大三角，基本的RAG的粗笔画会覆盖更多细节，给你留下一幅不完整的画面。当我们的洗衣机爱好者询问那个令人讨厌的错误代码时，矢量搜索不仅仅是梳理数据，它还可以精确定位信息的确切位置，这要归功于我们早些时候创建的独特的“数字签名”。想象一下，你是一名侦探，身处庞大的信息世界，试图在堆积如山的数据中找到隐藏的一条重要线索，这就是检索增强生成（RAG）发挥作用的地方，它就像你在人工智能和语言模型世界中的可靠助手。首先，手册被分解成大块——这些是我们的“父”文档。
LLM RAG系列，一文详解RAG，看完这篇你必会（文末福利）
DEVELOPERAA的博客
06-17 6978
本文介绍了RAG以及RAG pipeline的整个流程，包括请求转换、路由和请求构造、索引和检索、生成和评估等，其中引用了大量有价值的论文。
RAG 高效应用指南
m0_59235245的博客
06-27 1341
2020 年，Meta AI 研究人员提出了检索增强生成（RAG）的方法，用于提高 LLM 在特定任务上的性能。信息滞后：LLM 的知识是静态的，来源于当时训练时的数据，也就是 LLM 无法直接提供最新的信息。模型幻觉：实践表明，当前的生成式 AI 技术存在一定的幻觉，而在一些常见的业务应用中，我们是希望保证事实性的。私有数据匮乏：LLM 的训练数据主要来源于互联网公开的数据，而垂类领域、企业内部等有很多专属知识，这部分是 LLM 无法直接提供的。
基于检索增强技术（RAG）构建大语言模型（LLM）应用程序
DEVELOPERAA的博客
06-27 651
在之前的博客文章中，我们已经描述了嵌入是如何工作的，以及RAG技术是什么。本节我们我们将使用 LangChain 库以及 RAG 和嵌入技术在 Python 中构建一个简单的 LLM 应用程序。
应用篇| 深入浅出LLM应用之RAG
2401_85379281的博客
06-18 1783
虽然RAG能够快速解决LLM幻觉、新鲜度、以及数据安全性问题，但是RAG也有它的局限性，比如（1） 向量数据库是一个尚未成熟的技术，缺乏处理大量数据规模的通用方案，因此数据量较大时,速度和性能存在挑战。（2）在推理时需要对用户输入进行预处理和向量化等操作，增加了推理的时间和计算成本。（3）外部知识库的更新和同步，需要投入大量的人力、物力和时间。（4） 需要额外的检索组件，增加了架构的复杂度和维护成本。
讲解如何使用RAG（检索增强生成）和LLM（大语言模型）来构建一个法律咨询网站。
Winfredzhang的博客
06-02 1293
文档预处理：将法律文档转化为向量，存储在Faiss向量数据库中。文档检索：根据用户问题检索相关文档。提取重要段落：从相关文档中提取与用户问题相关的重要段落。生成答案：使用OpenAI的GPT-4生成详细回答。前后端构建：使用Flask构建后端API，用HTML和JavaScript构建简单的前端页面。通过这些步骤，即使是初学者也能逐步理解和实现一个利用RAG+LLM技术的法律咨询网站。
你的AI为何答非所问？解密RAG文档解析与知识切分（Chunking）的核心挑战
JavaEdge全是干货的技术号
06-24 434
第三方工具去对文件解析拆分，将文件内容给提取出来，并将我们的文档内容去拆分成一个小的chunk。对文档的内容进行提取的时候，可能会发现提取出来的文档它的内容是会被截断的。跨页形式，提取出来它的上下页其实两部分内容就会被截断，导致文档内部分内容丢失，我们去解析图片或者是说双栏复杂的这种格式。它会有一部分内容的丢失。作者简介：魔都架构师，多家大厂后端一线研发经验，在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。像常见PDF md文件，需要去支持把这些各类型的文档格式的文件都给提取。
llm RAG
03-13
### LLM与RAG结合的技术实现 #### 大型语言模型（LLM）与检索增强生成（RAG） 大型语言模型（LLM）通过其强大的参数量能够捕捉大量数据中的模式和关系，但在面对特定领域或实时更新的知识时可能存在局限性。而RAG技术则可以通过引入外部知识库来弥补这一不足。具体来说，在LLM中应用RAG技术可以分为以下几个方面[^1]。 #### 增强阶段的具体方法 在预训练阶段，可以借鉴RETRO等模型的设计思路，利用检索增强机制对大规模语料进行处理。这种方法不仅提高了模型对外部知识的理解能力，还增强了其泛化性能。例如，通过构建基于外部知识的编码器，使得模型能够在训练过程中学习到更多样化的上下文信息。 在微调阶段，结合具体的下游任务需求，进一步调整模型结构以适应实际应用场景的要求。这种做法有助于提高系统的针对性表现，并使其更加贴合用户的期望目标。此外，在推理阶段还可以采取多种策略优化RAG的应用效果，比如动态调整检索模块权重或者改进查询表示方式等措施都可以有效改善最终输出质量。 以下是使用Python实现的一个简单示例代码： ```python from transformers import RagTokenizer, RagTokenForGeneration, RagConfig def initialize_rag_model(): config = RagConfig.from_pretrained("facebook/rag-token-nq") tokenizer = RagTokenizer.from_pretrained("facebook/rag-token-nq") model = RagTokenForGeneration.from_pretrained("facebook/rag-token-nq", config=config) return model, tokenizer model, tokenizer = initialize_rag_model() input_text = "What is the capital of France?" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(inputs["input_ids"]) result = tokenizer.decode(outputs[0], skip_special_tokens=True) print(result) ``` 此代码片段展示了如何加载并初始化一个预先训练好的RAG模型以及相应的分词工具；随后定义了一个函数用于接收输入文本并通过该模型生成答案[^2]。 #### 结论 综上所述，将LLM与RAG相结合是一种非常有效的手段，它不仅可以充分利用大模型自身的强大功能，还能借助于外部资源扩展其知识边界。这对于需要高度精确性和最新资讯的任务尤为重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值