RAG实操教程，LangChain + Llama2 | 创造你的个人LLM

已于 2024-09-18 10:29:22 修改
阅读量1.1k 收藏 12
点赞数 5
文章标签： langchain java 数据库
于 2024-06-20 17:26:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85782938/article/details/139838666
版权

image.png 本文将逐步指导您创建自己的RAG（检索增强生成）系统，使您能够上传自己的PDF文件并向LLM询问有关PDF的信息。本教程侧重于图中蓝色部分，即暂时不涉及Gradio（想了解已接入Gradio的，请参考官网）。相关技术栈包括以下内容：

  1. LLM: Llama2
  2. LLM API: llama.cpp service
  3. Langchain：
  4. Vector DB: ChromaDB
  5. Embeding: sentence-Tranformers

核心在于 Langchain，它是用于开发由语言模型支持的应用程序的框架。LangChain 就像胶水一样，有各种接口可以连接LLM模型与其他工具和数据源，不过现在 LangChain 正在蓬勃发展中，许多文件或API改版很多。以下我使用最简单的方式示范。

步骤1. 环境设置

首先设置 Python 环境，我使用 conda 创建环境，并安装以下库，我在 Jupyter 环境完成示例。

arduino复制代码 # python=3.9
 ipykernel
 ipywidgets
 langchain
 PyMuPDF
 chromadb
 sentence-transformers
 llama-cpp-python

步骤2. 读入文件处理并导入数据库。

image.png

首先我们要将外部信息处理后，放到 DB 中，以供之后查询相关知识，这边的步骤对应到上图框起来的部分，也就是橘色的 1. 文本拆分器 和 2. embedding。

a). 使用文件加载器

Langchain 提供了很多文件加载器，总共大约有55种，包括word、csv、PDF、GoogleDrive、Youtube等，使用方法也很简单。这里我创建了一个虚拟人物 Alison Hawk 的 PDF 信息，并使用read in，Alison Hawk 的 PDF 信息。请注意需要安装 PyMuPDFLoader 才能使用。PyMuPDFLoader PyMuPDF

py复制代码 from langchain.document_loaders import PyMuPDFLoader
 loader = PyMuPDFLoader("LangChain/Virtual_characters.pdf")
 PDF_data = loader.load()

文本分割器会将文档或文字分割成一个个 chunk，用以预防文档的信息超过 LLM 的 tokens，有一些研究在探讨如何将 chunk 优化。我们后续文章中讨论。

这两种常用的工具之间的区别在于，如果块大小超过指定阈值，它们会递归地将文本分割为更小的块。LangChain提供这两种方式，并且主要参数如下：

py复制代码 - RecursiveCharacterTextSplitter 
 - CharacterTextSplitter
  • chunk size：决定分割文字时每个内存块中的最大字元数。它指定每个内存块的大小或长度。
  • chunk_overlap：决定分割文字时连续内存块之间重叠的字元数。它指定前一个内存块的多少应包含在下一个内存块中。
py复制代码 from langchain.text_splitter import RecursiveCharacterTextSplitter
 text_splitter = RecursiveCharacterTextSplitter(chunk_size=100, chunk_overlap=5)
 all_splits = text_splitter.split_documents(PDF_data)

在上面的代码中我们指定chunk_size=100, chunk_overlap=5， 这样的意思就是我们每块的文档中是 100 个字符，chunk_overlap 表示字符重复的个数，这样可以避免语义被拆分后不完整。

c) 加载嵌入模型

然后使用嵌入将步骤(b)分割的块文本转换为向量，LangChain提供了许多嵌入模型的接口，例如OpenAI、Cohere、Hugging Face、Weaviate等，请参考LangChain官网。

这边我使用Hugging Face的Sentence Transformers，它提供了许多种pretrain模型，可以根据你的需求或应用情境选择，我选择，其他model细节可以看到HuggingFace。注意要先安装才能使用。all-MiniLM-L6-v2sentence-Tranformers

py复制代码 from langchain.embeddings import HuggingFaceEmbeddings
 model_name = "sentence-transformers/all-MiniLM-L6-v2"
 model_kwargs = {
   'device': 'cpu'}
 embedding = HuggingFaceEmbeddings(
   model_name=model_name,
   model_kwargs=model_kwargs
 )

d) 将Embedding结果汇入VectorDB

我们会将嵌入后的结果存储在VectorDB中，常见的VectorDB包括Chroma、Pinecone和FAISS等，这里我使用Chroma来实现。Chroma与LangChain整合得很好，可以直接使用 LangChain的接口进行操作。

py复制代码 # embed 并存储文本
最低0.47元/天 解锁文章
AGI八零后
关注
私有化大模型 RAG 系统一体化部署实战：Embedding × 文档同步 × 多端调用闭环全落地
努力分享一些人工智能相关的知识干货！
04-08 1032
在数据安全、离线可用、端侧部署需求日益突出的背景下，如何构建一套真正可落地 × 可扩展 × 可闭环的私有化大模型 RAG 系统，成为国产大模型落地的关键。本篇系统拆解一体化 RAG 系统的六大核心模块：Embedding 模型本地部署、文档同步机制、Faiss 检索、Prompt 统一拼接、本地大模型推理封装、Web × App × Jetson 多端接入、trace_id × 用户反馈 × 自动更新闭环，构建起一套完整的企业级知识系统解决方案。适合工程团队直接上手实战部署，也可作为私有化平台搭建参考。
Llama 2 with langchain项目详解（一）
段智华的博客
08-06 2257
利用这些指令遵循数据集，使用Hugging Face的训练框架对LLaMA模型进行了微调，利用了完全共享数据并行和混合精度训练等技术，运行结果显示，对一个70亿的LLaMA模型进行微调，使用8个80GB的A100芯片只需3小时，在大多数云计算服务提供商那里的成本不到100美元，进一步提高训练效率可以进一步降低成本。我们使用系统提示，模型会更加关注提示的内容。你可以免费使用Replicate，但过一段时间后，会被要求输入你的信用卡，按秒为你运行的预测付费，每秒的价格因运行模型的硬件而异，如图所示。
RAG实操教程: langchain+Milvus向量数据库创建你的本地知识库
2401_85782938的博客
06-19 8290
本文主要是 Milvus 向量数据实战总结。LLM 痛点以及解决方案RAG 是什么，为什么选用RAG。langchain文档加载器，chat model文档拆分的注意点，chat model区别。chat 示例代码。
RAG 入门指南：从零开始构建一个 RAG 系统
mama19971023的博客
08-05 2032
在开始之前，我还是打算再次简要的介绍一下 RAG。在 Meta 的官方 Blog 上有这样一段话：这段话主要讲述了一个新的模型架构，也就是RAG (检索增强生成)的重要性和优势。可以概括为以下几点：1. 构建一个能够进行研究和上下文分析的模型虽然更具挑战性，但对未来的技术进步非常关键；2. 通过在知识密集的下游任务上微调，RAG 可以实现最先进的结果，比现有的最大的预训练序列到序列语言模型还要好；3. 与传统的预训练模型不同，RAG 的内部知识可以轻松地动态更改或补充。
一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操
2401_85375151的博客
07-29 2887
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单实战技巧：【版面分析——富文本txt读取】
一文带你了解大模型的RAG(检索增强生成) | 概念理论介绍+ 代码实操（含源码）
热门推荐
机器学习社区
12-30 2万+
RAG的全称是Retrieval-Augmented Generation，中文翻译为检索增强生成。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。本文介绍了 RAG 的概念及其背后的一些理论，本文通过Python、LangChain将其实现，在此过程中使用了 OpenAI的ChatGPT接口（可以自己搭建chatGLM3）、Weaviate矢量数据库（可以自己搭建Milvus ）、OpenAI 嵌入模型实现了 RAG 管道。
RAG实操教程langchain+Milvus向量数据库创建你的本地知识库 二
python122_的博客
06-21 1463
本文主要是 Milvus 向量数据实战总结。• LLM 痛点以及解决方案• RAG 是什么，为什么选用RAG。•langchain文档加载器，chat model• 文档拆分的注意点，chat model区别。• chat 示例代码。​。
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
04-07
### 本地部署开源大模型的完整教程：LangChain + Streamlit + Llama #### 一、背景介绍 大型语言模型（LLM）在过去几个月里取得了显著的发展，它们为聊天机器人、个人助手及内容创作等领域带来了激动人心的新机遇...
LangChain+Llama3 实现LLM本地部署并通过文档实现RAG
assassins123的博客
09-26 1086
使用git下载时（需要提前安装lfs），可能会遇到lfs下载大文件失败，可以在其余文件下载完成后，进入下载模型的主目录单独下载每一个大体积权重文件，命令如下。所需模型均可以在huggingface官网上找到源代码，其余包可以根据自身需要按官方所给名称分别安装。*.xxx表示权重文件的后缀名，差什么就下什么。实现代码如下，具体注释有空再补（相关依赖见。下载模型的镜像文件，也许会有些许滞后。
RAG入门教程（非常详细），RAG 的优化方案及评估入门到精通，收藏这一篇就够了！
2401_85373898的博客
11-22 1028
组成，并分两步检索，首先将query与摘要匹配过滤掉不相关的文档，并只在相关组内检索第二层文档块。这种方式虽然能够通过。
大模型RAG入门及实践
奇舞周刊
05-14 1902
本文作者系360奇舞团前端开发工程师前言在大语言模型（LLM）飞速发展的今天，LLMs 正不断地充实和改进我们周边的各种工具和应用。如果说现在基于 LLM 最火热的应用技术是什么，检索增强生成（RAG，Retrieval Augmented Generation）技术必占据重要的一席。RAG 最初是为了解决 LLM 的各类问题的产生的，但后面大家发现在现阶段的很多企业痛点上，使用RAG好像是更好的...
大模型RAG实践操作---一个简单的知识文档助手Demo
weixin_42838778的博客
08-17 1442
文本生成模型：Mixtral 8x7B Instruct是一种可以遵循指令、完成请求和生成创造性文本格式的语言模型。Mixtral 8x7B是一种高质量的稀疏混合专家模型（SMoE），具有开放权重。该模型已通过监督微调和直接偏好优化（DPO）进行了优化，以确保仔细遵循指令。在MT Bench上，它的得分达到了8.30，使其成为最好的开源模型，性能与GPT3.5相当。Mixtral在大多数基准测试中都优于Llama 2 70B，推理速度快6倍。
Llama 2 和 Langchain：可能让 ChatGPT 过时的技术
iCloudEnd的博客
08-14 725
在不断发展的技术世界中，人工智能聊天机器人取得重大进展并不奇怪。随着公司和开发人员不断努力创建更好、更先进的模型，过时是旧技术不可避免的命运。今天，我们将重点关注人工智能对话领域的两位后起之秀：Llama 2 和 Langchain，以及它们如何对 ChatGPT 等现有巨头构成潜在威胁。
#RAG##AIGC#检索增强生成 (RAG) 基本介绍和入门实操示例
weixin_45312236的博客
01-15 1928
RAG 将信息检索组件与文本生成器模型相结合。RAG 可以进行微调，并且可以有效地修改其内部知识，而无需重新训练整个模型。
大模型应用之RAG详解，RAG保姆级教程，收藏这篇就够了！
m0_70486148的博客
01-02 2万+
RAG（Retrieval Augmented Generation，检索增强生成）是一种将大规模语言模型（LLM）与外部知识源的检索相结合，以改进问答能力的工程框架。它使用来自私有或专有数据源的信息来辅助文本生成，从而弥补LLM的局限性，特别是在解决幻觉问题和提升时效性方面。原始 RAG 的流程包括索引、检索和生成三个步骤，既把问答内容输入到数据库中，给定query，可以直接去数据库中搜索，搜索完成后把查询结果和query拼接起来送给模型去生成内容。实际上langchain。
查询本地知识库之llama2+langchain
Harry的博客
11-12 2048
1. python package 包2. nltk的punkt手动安装安装nltk的punkt模块（因为下载速度很慢，所以这里我们手动下载）先在root目录下，建一个文件夹：/root/nltk_data/tokenizers到这个网址：http://www.nltk.org/nltk_data/，找到punkt的包。
一文带你了解RAG(检索增强生成) 概念理论介绍+ 代码实操
2401_85280106的博客
01-22 1109
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单实战技巧：【版面分析——富文本txt读取】
万字长文！RAG的实战指南及探索之路
Z4400840的博客
12-12 1517
RAG（Retrieval Augmented Generation，检索增强生成 ）方法是指结合了基于检索的模型和生成模型的能力，以提高生成文本的质量和相关性。该方法是Meta在2020年发表的文章《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中提出的，该方法让LM（Language Model，语言模型）能够获取内化知识之外的信息，并允许LM在专业知识库的基础上，以更准确的方式回答问题。
Llama2+本地RAG构建
最新发布
02-20
<think>嗯，用户之前问了关于在本地使用DeepSeek模型的方案，现在又问Llama2+本地RAG构建。我需要先理解这两个概念的关系。用户可能是想了解如何结合Llama2和RAG来搭建本地问答系统，作为开源替代方案。 首先，得确认用户对RAG的理解程度。RAG是检索增强生成，结合了检索和生成模型。Llama2是Meta的开源大模型，适合本地部署。用户可能想知道具体的步骤，比如如何准备数据、选择模型、搭建系统。 用户之前得到过关于DeepSeek官方和开源方案的对比，现在转向具体实现的开源方案。需要详细说明Llama2和RAG的结合方法，可能包括技术选型、步骤、代码示例，以及优缺点。 要注意用户可能的技术背景，可能是开发者或研究人员，需要实用指导。需要分步骤讲解，从数据准备到部署，给出代码示例，比如使用Hugging Face的模型和ChromaDB。 还要考虑用户可能遇到的挑战，比如显存不足、检索效果优化、模型微调等，给出注意事项和建议。对比之前的回答，保持结构一致，但更聚焦在Llama2和RAG的结合上。 最后，总结适用场景，帮助用户决定是否选择这个方案。确保语言通俗，避免过多术语，但作为技术方案，适当的技术细节是必要的。可能需要检查是否有遗漏的步骤或潜在问题，比如数据预处理的重要性，或者模型选择的替代方案。</think>以下是关于使用 **Llama2 + 本地RAG** 构建本地问答系统的技术方案详解： --- ### **核心架构原理** ```mermaid graph LR A[用户提问] --> B(文本向量化) B --> C[向量数据库检索] C --> D[构建Prompt] D --> E[Llama2生成回答] E --> F[最终答案] ``` 通过 **检索增强生成（RAG）** 将外部知识库与Llama2结合，突破大模型固有知识限制，实现精准的领域知识问答。 --- ### **技术实现六步曲** #### **1. 知识库准备** - 支持格式：PDF/TXT/Markdown/数据库 - 预处理代码示例： ```python from langchain.document_loaders import DirectoryLoader # 加载本地文档 loader = DirectoryLoader('./docs', glob='**/*.txt') documents = loader.load() # 文本分割 from langchain.text_splitter import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50) chunks = text_splitter.split_documents(documents) ``` #### **2. 向量化引擎选择** - 推荐方案： ```python # 中文Embedding模型 from langchain.embeddings import HuggingFaceEmbeddings embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5") # 英文场景可替换为： # embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-mpnet-base-v2") ``` #### **3. 向量数据库搭建** - ChromaDB本地部署方案： ```python from langchain.vectorstores import Chroma # 持久化存储向量库 vectordb = Chroma.from_documents( documents=chunks, embedding=embeddings, persist_directory="./chroma_db" ) ``` #### **4. Llama2本地部署** - 最低硬件要求： ```markdown - 7B版本：RTX 3090(24GB) *1 - 13B版本：RTX 3090 *2 - 70B版本：需要A100(80GB) *4 ``` - 使用vLLM加速推理： ```python from vllm import LLM, SamplingParams llm = LLM(model="meta-llama/Llama-2-7b-chat-hf") sampling_params = SamplingParams(temperature=0.5, max_tokens=500) ``` #### **5. RAG流程整合** - 核心处理逻辑： ```python def rag_pipeline(query): # 向量检索 retriever = vectordb.as_retriever(search_kwargs={"k": 3}) docs = retriever.get_relevant_documents(query) # 构建Prompt context = "\n".join([doc.page_content for doc in docs]) prompt = f"""基于以下信息用中文回答： {context} 问题：{query} 答案：""" # 生成回答 outputs = llm.generate(prompt, sampling_params) return outputs[0].text ``` #### **6. 交互接口开发** - 快速构建Web API： ```python from flask import Flask, request app = Flask(__name__) @app.route('/ask', methods=['POST']) def ask(): question = request.json['question'] return {'answer': rag_pipeline(question)} if __name__ == '__main__': app.run(host='0.0.0.0', port=8000) ``` --- ### **性能优化技巧** 1. **混合检索策略** ```python # 结合关键词+向量混合检索 from langchain.retrievers import BM25Retriever, EnsembleRetriever bm25_retriever = BM25Retriever.from_documents(chunks) ensemble_retriever = EnsembleRetriever( retrievers=[bm25_retriever, vectordb.as_retriever()], weights=[0.3, 0.7] ) ``` 2. **缓存加速** ```python # 使用磁盘缓存 from langchain.cache import SQLiteCache import langchain langchain.llm_cache = SQLiteCache(database_path=".langchain.db") ``` 3. **量化压缩** ```bash # 使用GGUF量化格式 ./llama.cpp/quantize llama-2-7b.Q4_0.gguf ``` --- ### **方案优势与局限** | 维度 | 优势 | 局限 | |-------------|-------------------------------|-------------------------------| | 知识更新 | 🟢 支持实时更新知识库 | 🔴 需要定期维护向量库 | | 硬件成本 | 🟢 单卡GPU可运行 | 🔴 70B模型需要高端显卡 | | 响应速度 | 🟡 3-5秒级响应 | 🔴 比API方案慢 | | 准确率 | 🟡 依赖检索质量 | 🔴 存在幻觉风险 | -- ### **典型应用场景** 1. 企业知识库问答系统 2. 个人数字文档助手 3. 行业法规智能查询 4. 学术论文研究助手 --- **部署建议**： - 从7B版本开始验证原型，逐步升级模型规模 - 使用LangChain框架可快速集成更多功能模块（如联网搜索、代码解释器等） - 对关键领域知识建议进行Llama2的LoRA微调（需准备标注数据）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值