如何使用ElasticSearch搭建LLM-RAG系统

最新推荐文章于 2025-03-18 09:00:00 发布
最新推荐文章于 2025-03-18 09:00:00 发布
阅读量2.3k 收藏 56
点赞数 52
文章标签： elasticsearch 人工智能 数据科学 大语言模型 向量库 embedding rerank
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/colorknight/article/details/138476460
版权

        在之前的案例视频中我们演示了使用Milvus向量数据库和腾讯向量数据库实现RAG的场景应用。今天我们演示下利用ES的向量数据存储能力来实现RAG，包括三个部分：连接ES数据库并建表；数据写入ES向量数据库流程；问答对话流程。具体操作可参照下面的视频：

《玩转数据之使用ElasticSearch搭建RAG》icon-default.png?t=N7T8https://www.bilibili.com/video/BV1mZ421E7ki/

【连接ES数据库并建表】

        这里我们没有展示连接ES数据库的过程，直接使用已经连接创建的ES7数据库03-es，相关操作可查看已发布的信息。

进入数据库操作页面，点

新建一个支持向量数据的数据表knnword3，分别添加两个字段：

  1. 名称=text，类型=keyword;
  2. 名称=embeddings，类型=Dense_vector,dims=1024,intex=true,similarity=I2_norm（相似度算法）。

        将dims设置为1024是因为Lucene最大支持长度是1024，若超过1024的长度会引发插入数据错误。

这样将向量数据表完成后，就可以在流程中使用了。

【数据写入ES向量数据库流程示例】

        这里我们将之前用Milvus数据库的流程示例进行改造，将Milvus的向量数据库替换为ES数据库。整个流程的其他创建过程可参考如下视频：

《轻松玩儿转数据分析系列-低代码玩转LLM-RAG》

        上图是用Milvus数据库实现的，现在将其替换为ES算子，如下

        选择ES写出算子替换掉Milvus写出算子后，需要配置下ES数据表的信息，如下：

  1. es连接配置：03-es；
  2. 索引名：keyword3；
  3. 表结构：embeddings=embeddings，text=textId。

保存并执行流程，查看效果。

         数据处理完成，可以看到我们已经把这个数据插到了向量库中，然后我们基于插入的这些数据进行下面对话示例的演示。

对话应答示例

关于对话应答的示例也请参照如下文章进行流程的设计。

HuggingFists-低代码玩转LLMRAG(2) Query

    在整个流程中，会用到如下的算子：

  1. 交互式数据算子用来接受输入的问题，绑定一个真实的问题；
  2. 混元文本嵌入算子用于将文本转换为向量数据并关联ES数据表中数据。
  3. es读取算子用于完成基于输入的向量问题检索向量表。
  4. Rerank算子用于对原来数据的重排序
  5. 列添加、聚合算子主要完成数据的整合。
  6. 大语言提示模型实现提示模版的输出。
  7. 阿里大语言模型完成问题的应答，

                整个流程中我们使用了腾讯的嵌入模型和阿里大语言模型，或者用混元大语言模型也可以。

这里需要修改ES的连接配置信息

  1. es连接配置：03-es；
  2. 索引名：knnword3；
  3. 查询模式：SQL模式；
  4. SQL查询语句：select * from hnnword3 where knn(‘embedding ’,‘@(embeddings)’,20,50) limit 10

配置完成后，先运行下看下效果，

        可以看出能够很好回答提示问题的数据排在第五个，假设后续语料增多，后续可能排位更低，所以，设计了这个rerank算子（重排算子）

        Reank算子的主要作用是语义的重排序，使其能够将跟问题最相关的语料筛选出来。加入这个算子后，重新运行下流程。发现能够准备回答问题的语料可以被筛选出来，通过Rerank算子的重新排序，精准的找到适合回答问题的语料。

最后我们整体运行下该流程，

        从输出结果来看，当前问题的应答输出与我们的几次测试，基本上这结论都是一致的。

以上就是基于ES向量数据库来实现检索增强生成应用的示例，欢迎下载HuggingFists试用。下载地址如下：

【Linux版】

Github：https://github.com/Datayoo/HuggingFists

百度网盘：https://pan.baidu.com/s/1zV_ScCtLgFQSYEb0wLmXIQ?pwd=2024

【windows版】

Github: https://github.com/Datayoo/HuggingFists4Win/tree/main

百度网盘：百度网盘 请输入提取码

【Mac版】

百度网盘：https://pan.baidu.com/s/12WxZ-2GgMtbQeP7AcmsyHg?pwd=2024

【补充算子】

GitHub: https://github.com/Datayoo/Operators

百度网盘：https://pan.baidu.com/s/1iqX0f8xzCXMWVDA7eaqH6Q?pwd=2024

如果使用过程中遇到问题，可加入我们的交流群：

colorknight
关注
RAG与LLM原理及实践(15)---RAG Python 前端构建技术Flask
talentyiyy的专栏
09-06 885
Flask 是一个使用 Python 编写的轻量级 Web 应用框架。它基于 Werkzeug WSGI 工具箱和 Jinja2 模板引擎。Flask 被设计用来快速开发 Web 应用，并且具有可扩展性和灵活性。它允许你使用 Python 编写 Web 应用，而不需要编写大量的样板代码。Flask 特点很多，我提取几个比较有代表性的特点，使你从功能层面对他有一定的大概了解。这种语法应该是比较简单，你只要写过代码，都是大同小异。
深度学习-155-RAG技术之嵌入模型Embedding怎么选
最新发布
qq_20466211的博客
04-07 135
Embedding技术在大型语言模型中发挥着至关重要的作用。它将文本转化为向量，使模型能够理解和处理复杂的语言信息。通过选择合适的Embedding方法和优化文本匹配策略，我们可以在搜索引擎、问答系统、推荐系统等领域实现高效且精准的文本匹配。
RAG最佳实践：用 ElasticSearch 打造AI搜索系统与RAG 应用全流程详解！
2401_85375298的博客
08-09 1333
AI 对话式搜索是一种基于自然语言处理（NLP）和机器学习技术的搜索方式，旨在通过与用户的自然对话实现信息检索。这种搜索模式允许用户以自然语言提问，而不是输入特定的关键词。AI 对话式搜索系统可以理解用户的查询意图，并通过智能匹配算法提供相关的答案或信息。这种搜索体验更加贴近人类的交流方式，使搜索过程更加直观和用户友好，特别适用于需要复杂查询或个性化推荐的场景。接下来，我们将深入探讨如何构建这样的 AI 对话式搜索应用程序，从数据准备、模型选择到系统集成，逐步展示实现这一技术的不同步骤。
基于腾讯云ES混合搜索与DeepSeek，十分钟构建RAG 应用
cloudbigdata的博客
01-23 2135
点击蓝字⬆ 关注我们本文共计1669字 预计阅读时长6分钟随着数据智能技术的不断发展，以大语言模型（LLM）驱动的AIGC为代表的内容生成技术已经成为企业数据智能能力中不可或缺的一部分，但传统的内容生成技术存在信息更新不及时、垂直领域知识匮乏、模型幻觉等问题，如何推进大模型在各行业、各业务场景落地是各方普遍关注的问题，而检索增强生成（Retrieval-Augmented Generation，R...
【原创】使用ElasticSearch存储向量实现大模型RAG
heiyeluren的blog（黑夜路人的开源世界）
03-18 1217
检索增强生成（Retrieval-Augmented Generation，RAG）已成为大型语言模型（LLM）应用的重要架构，通过结合外部知识库来增强模型的回答能力，特别是在处理专业领域知识、最新信息或企业私有数据时。本报告将系统梳理使用 Elasticsearch（ES）作为向量数据库实现 RAG 系统的优缺点，与传统向量数据库及其他存储解决方案的对比，以及基于 Deepseek V3 和 Qwen2.5 大模型的实现方案。多层图结构：HNSW 构建一个多层的图结构，顶层包含少量节点，底层包含所有节点。
大模型RAG实战｜向量数据库：Elasticsearch实现混合检索（附完整代码）
python123456_的博客
08-28 2596
大模型RAG实战系列文章，带你深入探索使用LlamaIndex框架，构建本地大模型知识库问答系统。本系列涵盖知识库管理、检索优化、模型本地部署等主题，通过代码与实例，讲解如何打造生产级系统，实现本地知识库的快速检索与智能问答。此前文章中，我介绍了使用LlamaIndex，如何构建知识库，实现各类文档和网页的加载、转换、索引与存储。当时，我们采用的向量数据库是，作为LlamaIndex中的向量存储（Vector Store）。Chroma是一个非常简单易用的嵌入式向量数据库，在开发和测试场景非常受欢迎。
Elasticsearch：使用 Elasticsearch 向量搜索及 RAG 来实现 Chatbot
Elastic 中国社区官方博客
12-12 2214
Elasticsearch 的向量搜索为我们的语义搜索提供了可能。而在人工智能的动态格局中，检索增强生成（Retrieval Augmented Generation - RAG）已经成为游戏规则的改变者，彻底改变了我们生成文本和与文本交互的方式。RAG 使用大型语言模型 (LLMs) 等工具将信息检索的能力与自然语言生成无缝结合起来，为内容创建提供了一种变革性的方法。在本文中，我们将使用 Elasticsearch 的向量搜索并结合 OpenAI 大模型来实现 RAG。
Elasticsearch 混合检索优化大模型 RAG 任务
这个人很懒什么都没有~
04-16 2776
Elastic 社区在自然语言处理上面做的很不错官方博客更新速度也很快，现阶段大模型的应用场景主要在 Rag 和 Agent 上，国内 Rag（Retrieval-Augmented Generation 检索增强生成） 的尤其多，而搜索对于 Elasticsearch 来说是强项特别是 8.9 之后的版本提供了 ESRE 模块（集成了高级相关性排序如 BM25f、强大的矢量数据库、自然语言处理技术、与第三方模型如 GPT-3 和 GPT-4 的集成，并支持开发者自定义模型与应用），经过我的各种尝试在 El
使用Elasticsearch实现高效的RAG系统:原理、实现与最佳实践
ppoojjj的博客
08-15 995
本文介绍了如何使用Elasticsearch构建一个高效的RAG系统。我们讨论了RAG的原理,提供了详细的实现步骤,并分享了一些常见问题的解决方案。Elasticsearch官方文档LangChain文档向量数据库与神经搜索介绍。
03 - Agentic RAG 构建之路 - 李捷 武汉 20250329
03-31
内容概要：本文详细介绍了Elasticsearch（ES）作为构建Agentic RAG（检索增强生成）系统的理想引擎的原因。首先探讨了传统RAG系统的局限性，然后重点阐述了ES如何通过其强大的查询规划、工具使用、动态查询规划以及...
ASR-LLM-TTS 大模型对话实现案例；语音识别、大模型对话、声音生成
weixin_42357472的博客
03-25 2687
参考：https://blog.csdn.net/weixin_42357472/article/details/136305123（llm+tts）这里LLM用的是chatglm。
【大模型 RAG技术】Elasticsearch (ES) 构建一个基于 RAG问答系统
赖德发的博客
01-08 561
使用预训练的模型（如 BERT 或其他语言模型）将文本数据转换为向量，并将这些向量存储在 Elasticsearch 中。然后，将这些文档作为上下文输入到生成模型中，生成相关的回答。假设你的数据是文本数据，你可以将其转换为 JSON 格式，以便存储在 Elasticsearch 中。通过以上步骤，你可以构建一个完整的 RAG 应用，利用 Elasticsearch 进行高效的语义搜索和文档检索，并结合生成模型生成相关的回答。将检索到的文档作为上下文，输入到生成模型中，生成相关的回答。
Elasticsearch：在你的数据上训练大型语言模型 (LLM)
Elastic 中国社区官方博客
11-01 1854
​过去的一两年，大型语言模型（LLM）席卷了互联网。 最近 Google 推出的 PaLM 2 和 OpenAI 推出的 GPT 4激发了企业的想象力。 跨领域构思了许多潜在的用例。 多语言客户支持、代码生成、内容创建和高级聊天机器人都是一些例子。 这些用例要求 LLMs 根据业务的自定义数据做出响应。
腾讯云ES RAG最佳实践：向量+文本混合搜索的相关性调优
cloudbigdata的博客
12-01 2102
‍‍| 导语腾讯云ES近期上线的8.8.1版本，提供了强大的云端AI增强能力，支持在统一技术栈中完成文本+向量的混合搜索，实现自然语言处理以及与大模型的集成，本文将从向量检索的优势与局限性介绍出发，说明混合搜索的原理、优势及其必要性，并通过效果演示为大家呈现腾讯云ES混合搜索的强大能力。引言我们在上一篇文章《腾讯云ES RAG最佳实践：百行代码轻松实现ES帮助文档的智能问答》中给大家介绍了如何通...
腾讯云ES RAG最佳实践:百行代码轻松实现帮助文档的智能问答
cloudbigdata的博客
11-17 795
导读腾讯云大数据Elasticsearch Service首发上线ES 8.8.1版本，提供强大的云端AI增强与向量检索能力，支持在端到端搜索与分析平台中实现自然语言处理、向量搜索以及与大模型的集成，10亿级向量检索平均响应延迟控制在毫秒级，助力客户实现由AI驱动的高级搜索能力，为搜索与分析带来全新的前沿体验。本文将结合腾讯云ES与ChatGPT，演示如何通过百行代码轻松实现ES帮助文档的智...
【解决方案】RAG实践：ES混合搜索BM25+kNN(cosine)
天然玩家的博客
07-07 2776
本系列分为两大部分：**实践**和**理论**。 **先讲**实践，**应对快速开发迭代**，可快速上手实践； **再讲**理论，**应对优化**，如归一化。
基于ES8的RAG
weixin_45352653的博客
08-14 915
RAG全称是索引增强生成（Retrieval Argumented Generation）它是使用自己的私人知识库或外部数据源来辅助文本生成的技术。RAG是将检索模型和生成模型结合到一起的一个技术。通过更多的数据源来增强对LLM的输入，RGA能提升搜索体验的相关性。在改善了LLM的输出的同时，又不需要重新训练LLM。
RAG 实践：腾讯云ES&混元，十分钟构建你的专属 AI 助手
cloudbigdata的博客
10-09 304
背景概述随着数据智能技术的不断发展，以大语言模型（LLM）驱动的 AIGC 为代表的内容生成技术已经成为企业数据智能能力中不可或缺的一部分，但传统的内容生成技术存在信息更新不及时、垂直领域知识匮乏、模型幻觉等问题，如何推进大模型在各行业、各业务场景落地是各方普遍关注的问题，而检索增强生成(Retrieval-Augmented Generation，RAG)技术则为此提供了有效的解决方案，成为数据...
java使用ES实现rag
02-12
### 实现基于Java的Elasticsearch RAG 为了实现在Java中利用Elasticsearch执行检索增强生成(Retrieval-Augmented Generation, RAG)，需构建一个流程来处理文档索引、复杂查询以及结果解析。此过程涉及设置Elasticsearch客户端连接，定义数据模型用于表示待索引文件结构，并编写服务逻辑以支持RAG操作。 #### 设置Elasticsearch Java High Level REST Client 首先，在项目依赖项中加入官方提供的`elasticsearch-rest-high-level-client`库。对于Maven工程而言，这意呸着更新`pom.xml`文件： ```xml <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>{es_version}</version> </dependency> ``` 其中`{es_version}`应替换为所使用的具体版本号[^1]。 接着初始化RESTHighLevelClient实例以便后续调用API方法： ```java RestHighLevelClient client = new RestHighLevelClient( RestClient.builder(new HttpHost("localhost", 9200, "http"))); ``` #### 定义实体类映射至Elasticsearch Index Mapping 创建POJO（Plain Old Java Object）对象作为文档模板，确保其字段名与目标索引中的mapping保持一致。例如针对审计日志记录可以设计如下类： ```java public class AuditLog { private String originalText; private List<String> keyPhrases; private List<String> potentialQuestions; private Map<String, Object> entities; // Getters & Setters omitted for brevity } ``` 上述属性名称应当对应于实际存储在Elasticsearch内的相应字段[^2]。 #### 构建并发送Multi-Match Query Request 通过组合多个条件形成布尔查询表达式，从而精确匹配所需信息片段。下面展示了一个多字段模糊查找的例子，它会尝试从指定域内寻找包含特定关键词条目的所有记录： ```java SearchRequest searchRequest = new SearchRequest("audit_logs"); BoolQueryBuilder boolQuery = QueryBuilders.boolQuery(); boolQuery.must(QueryBuilders.multiMatchQuery( "audits Elastic Elastic auditing ... Elasticsearch security audit", Arrays.asList("original_text", "keyphrases", "potential_questions", "entities")) .type(TextQueryType.BEST_FIELDS).operator(Operator.OR)); SearchSourceBuilder sourceBuilder = new SearchSourceBuilder().query(boolQuery); searchRequest.source(sourceBuilder); try { SearchResponse response = client.search(searchRequest, RequestOptions.DEFAULT); } catch (IOException e) { throw new RuntimeException(e); } ``` 此处采用的是`multi_match`类型的查询语句，允许跨不同字段进行相似度计算；同时设置了最佳字段模式(`best_fields`)及逻辑运算符为“或”，意味着只要任意单个词组出现在任一给定路径下即视为命中。 #### 解析响应内容并与预训练语言模型交互 获取到搜索返回的结果集之后，提取有用部分传递给下游NLP组件完成最终输出合成工作。通常情况下，这部分功能由外部微服务负责提供接口供调用方访问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值