基于langchain+本地lamma3.1+本地chroma做RAG增强生成系统

最新推荐文章于 2024-10-24 11:36:55 发布
最新推荐文章于 2024-10-24 11:36:55 发布
阅读量961 收藏 30
点赞数 27
文章标签： langchain 数据库 prompt 人工智能 LLM 大语言模型 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82469710/article/details/142726877
版权

在实际做RAG(RAG，Retrieval Augmented Generation,即：增强生成)系统时，经常会遇到数据安全、隐私保护等问题，此时使用本地部署的大模型和本地部署的矢量数据库时很必要的。

对一些概念的理解

以下的概念定义不严谨，主要是为了便于理解。实际上这些概念不仅适用于“文本”。

1. 嵌入（embedding）

计算机的强项是计算。在处理文本时，只有把文本转换成“数”以后才能被计算机处理，我们可以认为这个过程就是：嵌入（embedding）。

我们可以用大模型进行这种嵌入：把喂给它的文本转换成“数”。嵌入的过程参见下图：

2. 矢量数据库

在对文本做了“嵌入”以后，文本会被转换成“矢量”。

矢量通常由很多“维度”组成，比如我们常见的笛卡尔坐标：有x轴和y轴，我们可以用(x,y)来表示一个点的位置，这个矢量就是2维的。

“嵌入”的过程实际上也可以称之为“矢量化”，为了能够准确的表示文本的“特征”，通常使用大模型矢量化后的矢量有很多维。

3. RAG(Retrieval Augmented Generation)

由于大模型训练使用的数据通常不是最新的，而且也显然不可能特别全。所以通常在做一些专业领域的系统时，需要借助专业领域的知识库。

有一种有效的方式是：使用矢量数据库把专业的知识存储起来，我们可以叫它“知识库”，在进行专业知识查询时，先在“知识库”种查询关联的知识，然后再巧妙的融入到“提示词”中，喂给大模型，由大模型经过思考后返回“人性化”的答案。

这个过程就是RAG(Retrieval Augmented Generation)。

更详细的内容可以参考：[Build a Retrieval Augmented Generation (RAG) App]

使用langchain+本地lamma3.1+本地chroma实现知识问答

1. 安装依赖，在VS Code的terminal/终端中执行。

pip install --upgrade langchain langchain-community langchain-chroma

2. 嵌入和存储

做嵌入和查询时应该使用同一个大模型。如果在做嵌入和执行查询时用不同的大模型，那就不一定能查出什么了：）

from langchain.vectorstores import Chroma
from langchain.text\_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import OllamaEmbeddings
from langchain\_ollama.llms import OllamaLLM
from langchain.chains import VectorDBQA
from langchain.document\_loaders import TextLoader

persist\_directory \= 'chroma\_langchain\_db\_test'
model\_name \= "llama3.1"

# 定义嵌入。在存储嵌入和查询时都需要用到此嵌入函数。
def  get\_embedding():
    embeddings \= OllamaEmbeddings(model=model\_name)
    return embeddings

# 对文本矢量化并存储在本地
def create\_db():

    # 用来加载文本文件。
    # 指定文件使用tf-8编码读取，以确保正确处理非ASCII字符。
    loader = TextLoader('doc/state\_of\_the\_union.txt',encoding='utf-8')
    documents \= loader.load()

    # 用于将长文本拆分成较小的段，便于嵌入和大模型处理。
    # 每个文本块的最大长度是1000个字符，拆分的文本块之间没有重叠部分。
    text\_splitter = RecursiveCharacterTextSplitter(chunk\_size=1000, chunk\_overlap=0)
    texts \= text\_splitter.split\_documents(documents)
   
    # 从文本块生成嵌入，并将嵌入存储在Chroma向量数据库中，同时设置数据库持久化路径。
    vectordb = Chroma.from\_documents(documents=texts, embedding=get\_embedding(),persist\_directory=persist\_directory)

    # 将数据库的当前状态写入磁盘，以便在后续重启时加载和使用。
    vectordb.persist()

create\_db()

执行 Chroma.from_documents 开始执行嵌入，这个过程计算量较大，可能比较慢。

嵌入执行完毕后，会在项目文件夹中出现chroma数据库文件：

3. 查询知识

def ask(query):

    # 创建大模型实例
    model = OllamaLLM(model=model\_name)

    # 使用本地矢量数据库创建矢量数据库实例
    vectordb = Chroma(persist\_directory=persist\_directory, embedding\_function=get\_embedding())

    # 处理基于向量数据库的查询回答任务。
    # "stuff"：意味着模型将所有的上下文一次性处理。
    qa = VectorDBQA.from\_chain\_type(llm=model, chain\_type="stuff", vectorstore=vectordb)
   
    result \= qa.run(query)
    return result

query \= "What did the president say about Ketanji Brown Jackson"
r \= ask(query)
print (r)

查询结果如下图：

4. 全部代码，仅供参考：

from langchain.vectorstores import Chroma
from langchain.text\_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import OllamaEmbeddings
from langchain\_ollama.llms import OllamaLLM
from langchain.chains import VectorDBQA
from langchain.document\_loaders import TextLoader

persist\_directory \= 'chroma\_langchain\_db\_test'
model\_name \= "llama3.1"

# 定义嵌入。在存储嵌入和查询时都需要用到此嵌入函数。
def  get\_embedding():
    embeddings \= OllamaEmbeddings(model=model\_name)
    return embeddings

# 对文本矢量化并存储在本地
def create\_db():

    # 用来加载文本文件。
    # 指定文件使用tf-8编码读取，以确保正确处理非ASCII字符。
    loader = TextLoader('doc/state\_of\_the\_union.txt',encoding='utf-8')
    documents \= loader.load()

    # 用于将长文本拆分成较小的段，便于嵌入和大模型处理。
    # 每个文本块的最大长度是1000个字符，拆分的文本块之间没有重叠部分。
    text\_splitter = RecursiveCharacterTextSplitter(chunk\_size=1000, chunk\_overlap=0)
    texts \= text\_splitter.split\_documents(documents)
   
    # 从文本块生成嵌入，并将嵌入存储在Chroma向量数据库中，同时设置数据库持久化路径。
    vectordb = Chroma.from\_documents(documents=texts, embedding=get\_embedding(),persist\_directory=persist\_directory)

    # 将数据库的当前状态写入磁盘，以便在后续重启时加载和使用。
    vectordb.persist()

# create\_db()

def ask(query):

    # 创建大模型实例
    model = OllamaLLM(model=model\_name)

    # 使用本地矢量数据库创建矢量数据库实例
    vectordb = Chroma(persist\_directory=persist\_directory, embedding\_function=get\_embedding())

    # 处理基于向量数据库的查询回答任务。
    # "stuff"：意味着模型将所有的上下文一次性处理。
    qa = VectorDBQA.from\_chain\_type(llm=model, chain\_type="stuff", vectorstore=vectordb)
    
    result \= qa.run(query)
    return result

query \= "What did the president say about Ketanji Brown Jackson"
r \= ask(query)
print (r)

下载源代码

- [gitee]

- [github]

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

AI-智能
关注
Llama3应用与RAG的实现
qq_52053775的博客
06-25 1409
在线安装地址https://ollama.com/download选择服务器系统，按照步骤完成安装。下载地址 https://github.com/ollama/ollama/releases/总共需要修改两个点，第一：Ollama下载地址；链接：https://pan.baidu.com/s/1BQL5y2OBf2wQc18Jg75JKg?下载地址 https://github.com/ollama/ollama/releases/（3）离线下载Linux环境的Ollama安装脚本，并保存到。
【大模型部署及其应用 】使用 Llama 3 开源和 Elastic 构建 RAG
源代码杀手的博客
08-16 267
Llama 3 是 Meta 最近推出的开源大型语言模型。这是 Llama 2 的后继者，根据已发布的指标，这是一个重大改进。与 Gemma 7B Instruct、Mistral 7B Instruct 等最近发布的一些模型相比，它具有良好的评估指标。该模型有两个变体，分别是 80 亿和 700 亿参数。值得注意的是，在撰写这篇博客时，Meta 仍在训练 400B+ 版本的 Llama 3。Meta Llama 3 指导模型性能。
使用langchain和本地部署的lamma3+chroma做RAG
liupras的博客
10-03 826
在做RAG(RAG，Retrieval Augmented Generation,即：增强生成)系统时，经常会遇到数据安全、隐私保护等问题，此时使用本地部署的大模型和本地部署的矢量数据库时很必要的
使用Python和LangChain构建本地RAG应用程序的全面指南
m0_57781768的博客
06-27 1223
在当前的大数据和人工智能时代，如何高效地利用本地资源来运行复杂的语言模型（LLM）是一个非常重要的问题。特别是随着PrivateGPT、llama.cpp、GPT4All和llamafile等项目的流行，运行本地LLM的需求变得越来越迫切。本篇博客将详细介绍如何使用Python和LangChain库来构建一个本地运行的检索增强生成（RAG）应用程序。
用langchain搭配最新模型ollama打造属于自己的gpt
2401_84204207的博客
08-23 930
ollama的中文支持度不是很好，看视频效果也能看得出来，不过功能还是很强大的。功能实现的比较基础，不过核心功能都有，大家可以参考代码自行拓展，动动手，你我都有属于自己的gpt。
LLaMA 3.1 模型在DAMODEL平台的部署与实战：打造智能聊天机器人
易辰的博客
09-25 1529
LLama3.1 是 Meta（Facebook 母公司）发布的系列大语言模型之一，属于 LLaMA（Large Language Model Meta AI）模型系列。LLaMA 模型的目标是通过更高效的设计在保持模型性能的前提下，显著降低其计算和资源需求。LLaMA 3.1 是该系列的最新版本，继承了前面版本，如 LLaMA 1 和 LLaMA 2的许多技术优势，并对模型架构、训练数据和推理能力进行了改进。本文介绍了 LLaMA 3.1 模型的特点、优势以及在 DAMODEL 平台上的部署流程。
PostgreSQL与AI大模型I:使用 Llama 3.1 和 pgvector 构建 RAG 应用程序
最新发布
Z4400840的博客
10-24 723
RAG，即检索增强生成[2]，是一种将大型语言模型 (LLM) 的功能与外部知识检索相结合的 AI 技术。其理念是解决 LLM 的一个关键限制：无法在训练后访问或更新知识。在 RAG 系统中，当收到查询时，它首先会经过检索步骤。此步骤会搜索知识库以查找相关信息。检索到相关信息后，它会与原始查询一起输入到 LLM 中。这使得模型不仅能够根据其预先训练的知识生成响应，还能根据外部知识库中最新和最相关的信息生成响应。有几种方法可以做到这一点，但目前最常见的技术是使用嵌入[3]。嵌入是知识库中文本的数学表示。
Meta亲自下场教学Llama3.1 Agent/RAG！
python12345_的博客
07-27 1134
两种方式：内置。
大模型技术学习系列(4): langchain+ollama构建本地大模型应用
u011160113的博客
07-20 1338
本章主要阐述了本地构建基于大模型的应用程序的过程。从资源准备分析到实际搭建，一步步的指导应该如何在本地搭建一个基于大模型的应用程序。
Llama 2 with langchain项目详解（一）
段智华的博客
08-06 2200
利用这些指令遵循数据集，使用Hugging Face的训练框架对LLaMA模型进行了微调，利用了完全共享数据并行和混合精度训练等技术，运行结果显示，对一个70亿的LLaMA模型进行微调，使用8个80GB的A100芯片只需3小时，在大多数云计算服务提供商那里的成本不到100美元，进一步提高训练效率可以进一步降低成本。我们使用系统提示，模型会更加关注提示的内容。你可以免费使用Replicate，但过一段时间后，会被要求输入你的信用卡，按秒为你运行的预测付费，每秒的价格因运行模型的硬件而异，如图所示。
AIGC生成式代码——Code Llama 简介、部署、测试、应用、本地化
zero
09-21 8436
2023年08月25日(北京时间)，Meta发布了Code Llama，一个可以使用文本提示生成代码的大型语言模型（LLM)。Code Llama是最先进的公开可用的LLM代码任务，并有潜力使工作流程更快，为当前的开发人员和降低进入门槛的人正在学习代码。Code Llama有潜力作为一种生产力和教育工具来帮助程序员编写更健壮、文档更完善的软件。Code Llama在Llama 2的基础上增强了编码能力。它可以从代码和自然语言提示(例如，“给我写一个输出斐波那契数列的函数。
本地部署私人知识库的大模型！Llama 3 + RAG！
python12345678_的博客
07-11 2578
Llama 3 是由 Meta AI 开发的最先进的语言模型，擅长理解和生成类似人类的文本。凭借其令人印象深刻的自然语言处理能力，Llama 3 可以理解复杂的查询、提供准确的响应并参与与上下文相关的对话。它能够处理广泛的主题和处理效率，使其成为构建智能应用程序的理想选择。想测试Llama 3的威力吗？立即与 Anakin AI 聊天！（它支持任何可用的 AI 模型！什么是RAG？检索增强生成 （RAG） 是一种将信息检索和语言生成相结合以提高问答系统性能的技术。
Llama 3.1模型开源及RAG问答最新进展：兼看角色扮演大模型、text-SQL总结
m0_59164520的博客
07-24 1337
本文主要回顾了昨日大模型进展，主要动态主要围绕RAG、text-SQL、Llama 3.1模型开源等几个方面的内容。
使用Ollama和LangChain构建本地RAG系统
weixin_41496173的博客
06-29 1180
随着Gemma 2在Keras、PyTorch、Hugging Face transformers等多种格式的发布，Ollama格式也随之发布。在本篇博客中，我们将介绍如何使用Gemma 2的9B模型和LangChain框架构建一个完全本地化的RAG（检索增强生成）系统，并展示实际代码示例。
从头预训练一只迷你 LLaMA 3_llama3 预训练预处理
weixin_42924914的博客
10-19 1393
（全套教程文末领取哈）从大模型系统设计入手，讲解大模型的主要方法；在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；以SD多模态大模型为主，搭建了文生图小程序案例；以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
构建LangChain应用程序的示例代码：51、如何使用 Chroma 实现多模态检索增强生成 (RAG)
Hugo的博客
07-03 1512
本文件详细介绍了如何使用 Chroma 实现多模态检索增强生成 (RAG)。主要内容包括系统的整体架构、关键组件、代码实现以及应用示例。文中展示了如何将文本和图像数据结合，利用检索技术增强生成模型的性能。具体代码部分提供了详细的实现步骤，并辅以注释以帮助理解。
Langchain 和 Chroma 的集成
engchina的专栏
07-22 7309
Langchain 和 Chroma 的集成
OpenAI+LangChain+Chroma
Mico_Cmx的博客
05-24 2092
需要安装 Microsoft C++ 生成工具 - Visual Studio。以上步骤执行完毕后再执行 pip install chromadb 即可。第一步在工程中进行 pip install chromadb。页面直接点击下载生成工具即可。并粘上官网提供的相应代码后。
llama-factory部署qwen2（电脑没有GPU）求详细过程
10-16
LLAMA（Large Language Model Agent for Multi-purpose Applications）是一种基于大语言模型的应用框架，而Qwen是一个开源的语言模型，常用于问答场景。要在没有GPU的电脑上部署Qwen2，你需要通过lamma-factory进行简化安装和配置。以下是大致步骤： 1. **环境准备**: - 安装Python基础环境（包括pip） - 确保已安装必要的依赖，如TensorFlow（可以选择CPU版本） ```sh pip install python==3.8 pip install numpy tensorflow-cpu ``` 2. **获取模型**: - 从GitHub或其他官方源下载预训练的Qwen模型。Llama-factory通常会提供适用于CPU的模型。 ```sh git clone https://github.com/qwen-project/qwen.git cd qwen ``` 3. **配置**: - 进入模型目录，检查`lama_factory/config.py`文件，将`device`设置为`cpu`，确保不会尝试使用GPU资源。 4. **初始化模型工厂**: ```python from lama_factory import LlamaFactory factory = LlamaFactory(config_file='lama_factory/config.yaml') ``` 5. **加载并运行模型**: - 使用工厂创建Qwen实例，并在需要的时候进行交互。 ```python lama = factory.create_agent() response = lama.generate_response(prompt="你好，我是Qwen") print(response) ``` 6. **处理输入和输出**: - 将用户的问题作为prompt传递给模型，接收并打印其响应。 7. **启动服务**: 如果你想构建一个本地服务供外部访问，可以使用`lama_factory.run_server()`，指定监听的端口。 注意：由于Qwen的计算需求较大，运行在CPU上可能会较慢。如果对速度有较高要求，可以考虑使用更小的模型或者分布式计算。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值