Elasticsearch 利用 Enrich Processor 实现 MYSQL Join 的操作，支持Nested类型，具体应用。

最新推荐文章于 2024-05-18 23:05:24 发布
最新推荐文章于 2024-05-18 23:05:24 发布
阅读量316 收藏 3
点赞数 9
文章标签： elasticsearch mysql 关联查询 enrich nested
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alexgaoyihang/article/details/137492558
版权

概述

  在关系型数据库中，表关联是非常常见的操作，放到 Elasticsearch 的场景，相当于跨索引进行数据关联，本文使用 Enrich Processor，在数据预处理阶段把数据进行维护，最终使得数据在存储的时候，就是已经进行过数据关联的。

  举一个很常见的 省市区行政区域扩充的例子(同理类似于 字典 处理的场景)，在保存数据的时候，把关联的数据查询出来并存到 document 中。

介绍

  1. 初始化

  假设初始化一个索引： dict-detail，索引中包含的数据值如下所示，都是 keyword 类型，数据值如下所示。

    public DictDetail(String dictDetailId, String dictId, String dictCode, String dictName, String dictDetailCode, String dictDetailName) {
        this.dictDetailId = dictDetailId;
        this.dictId = dictId;
        this.dictCode = dictCode;
        this.dictName = dictName;
        this.dictDetailCode = dictDetailCode;
        this.dictDetailName = dictDetailName;
    }

    DictDetail dictDetail2 = new DictDetail("410102", "410100", "410100", "郑州市", "410102", "中原区");
    DictDetail dictDetail3 = new DictDetail("410103", "410100", "410100", "郑州市", "410103", "二七区");
    DictDetail dictDetail4 = new DictDetail("410104", "410100", "410100", "郑州市", "410104", "管城回族区");
    DictDetail dictDetail5 = new DictDetail("410105", "410100", "410100", "郑州市", "410105", "金水区");
    DictDetail dictDetail6 = new DictDetail("410106", "410100", "410100", "郑州市", "410106", "上街区");
    DictDetail dictDetail8 = new DictDetail("410108", "410100", "410100", "郑州市", "410108", "惠济区");
  1. 执行效果展示（需要优先执行 3.1、3.2、3.3 部分的命令）
    // 文档创建：
    PUT http://localhost:9200/test-dict-detail/_doc/1?pipeline=enrich-dict-detail-id-policy-pipeline
        {
            "dictDetailId": "410102",
            "comment": "希望创建之后能够出现dictDetailId对应的扩展字典信息dictDetailId_enriched",
            "address": [
                {
                    "dictDetailId": "410102"
                },
                {
                    "dictDetailId": "410103"
                }
            ]
        }


    // 文档查看： 注意保存到索引中的文档增加了两个属性，一个是 dictDetailId 扩展出来的 dictDetailId_enriched，  另一个是 address.dictDetailId 扩展出来的 address._dictDetailIdObj
    GET http://localhost:9200/test-dict-detail/_doc/1
        {
            "_index": "test-dict-detail",
            "_type": "_doc",
            "_id": "1",
            "_version": 21,
            "_seq_no": 20,
            "_primary_term": 2,
            "found": true,
            "_source": {
                "address": [
                    {
                        "_dictDetailIdObj": {
                            "dictDetailId": "410102",
                            "dictName": "郑州市",
                            "dictId": "410100",
                            "dictDetailName": "中原区",
                            "dictCode": "410100",
                            "dictDetailCode": "410102"
                        },
                        "dictDetailId": "410102"
                    },
                    {
                        "_dictDetailIdObj": {
                            "dictDetailId": "410103",
                            "dictName": "郑州市",
                            "dictId": "410100",
                            "dictDetailName": "二七区",
                            "dictCode": "410100",
                            "dictDetailCode": "410103"
                        },
                        "dictDetailId": "410103"
                    }
                ],
                "dictDetailId": "410102",
                "comment": "希望创建之后能够出现dictDetailId对应的扩展字典信息dictDetailId_enriched",
                "dictDetailId_enriched": {
                    "dictDetailId": "410102",
                    "dictName": "郑州市",
                    "dictId": "410100",
                    "dictDetailName": "中原区",
                    "dictCode": "410100",
                    "dictDetailCode": "410102"
                }
            }
        }
  1. 实现方法：

  针对 enrich processor 的概念，很多文档都进行了描述，本文结合代码进行详细说明：

    // 创建策略，该策略定义我们将使用哪个字段将主数据与输入数据流中的文档进行匹配。
    // match ： policy 类型，除了传统的match类型，还有应用于地理位置场景的：geo_match。
    // indices : 一个或多个源索引的列表，存储的是待 enrich 扩展的数据。
    // match_field ： 源索引中用于匹配传入文档的匹配字段。
    // enrich_field ： 源索引中的字段列表，用于添加到新传入的文档中。

    PUT http://localhost:9200/_enrich/policy/enrich-dict-detail-id-policy
        {
            "match": {
                "indices": "dict-detail",
                "match_field": "dictDetailId",
                "enrich_fields": [
                    "dictId",
                    "dictCode",
                    "dictName",
                    "dictDetailCode",
                    "dictDetailName"
                ]
            }
        }

    // 运行策略

    PUT http://localhost:9200/_enrich/policy/enrich-dict-detail-id-policy/_execute

    // 创建一个 pipeline: 注意这里针对普通field属性和Nested-Object属性都进行了描述。
        // 1、processors 中的第一个 enrich 就是针对 普通field属性，只要匹配到 dictDetailId 属性，就对其扩充生成 dictDetailId_enriched， 详见如上 2.2 部分的结果；
        // 2、processors 中的剩余的操作，是针对 Nested-Object进行的操作，只要匹配到 address.dictDetailId，就对其扩充生成 address._dictDetailIdObj，详见如上 2.2 部分的结果；
            // 2.1、首先使用 foreach 遍历 address 属性，取出来其中的 dictDetailId属性，生成 addressDictDetailIds 数组；
            // 2.2、使用第一步生成的 addressDictDetailIds 数组，进行扩充生成 addressDictDetailIds_enriched 数组对象，这里的数组对象就是已经进行属性扩充的对象；
            // 2.3、删除 addressDictDetailIds 数组；
            // 2.4、将 addressDictDetailIds_enriched 数组对象 与 原始的 address 数组对象进行合并，在 address 数组对象中增加 _dictDetailIdObj 属性；
            // 2.5、删除 addressDictDetailIds_enriched 数组对象；

    PUT http://localhost:9200/_ingest/pipeline/enrich-dict-detail-id-policy-pipeline

        {
            "description": "Enrich dict-detail-id information",
            "processors": [
                {
                    "enrich": {
                        "description": "单独对象：针对 field 属性进行扩充,生成 target_field 对象",
                        "policy_name": "enrich-dict-detail-id-policy",
                        "field": "dictDetailId",
                        "target_field": "dictDetailId_enriched",
                        "max_matches": "1",
                        "ignore_failure": true
                    }
                },
                {
                    "foreach": {
                        "field": "address",
                        "ignore_failure": true,
                        "description": "Nested-Object-Enrich:1、遍历 field 对象, 生成 field 数组",
                        "processor": {
                            "append": {
                                "field": "addressDictDetailIds",
                                "value": [
                                    "{{_ingest._value.dictDetailId}}"
                                ]
                            }
                        }
                    }
                },
                {
                    "enrich": {
                        "description": "Nested-Object-Enrich:2、针对第一步生成的数组，进行扩充生成 target_field 数组对象",
                        "policy_name": "enrich-dict-detail-id-policy",
                        "field": "addressDictDetailIds",
                        "target_field": "addressDictDetailIds_enriched",
                        "max_matches": "128",
                        "ignore_failure": true
                    }
                },
                {
                    "remove": {
                        "description": "Nested-Object-Enrich:3、针对第一步生成的数组，已经经过了第二步的处理，故删除第一步临时生成的数组对象",
                        "ignore_failure": true,
                        "field": [
                            "addressDictDetailIds"
                        ]
                    }
                },
                {
                    "script": {
                        "description": "Nested-Object-Enrich:4、将原始对象和第3步生成的数组对象进行合并",
                        "lang": "painless",
                        "ignore_failure": true,
                        "source": "for (int i = 0; i < ctx.address.length; i++) { ctx.address[i]._dictDetailIdObj = ctx.addressDictDetailIds_enriched[i] }"
                    }
                },
                {
                    "remove": {
                        "description": "Nested-Object-Enrich:5、删除第二步扩充生成的对象",
                        "field": [
                            "addressDictDetailIds_enriched"
                        ],
                        "ignore_failure": true
                    }
                }
            ]
        }

    // 就可以使用 2.1 和 2.2 两个部分的命令，创建文档和查看文档，至此类似 Mysql 的 join 操作就已经实现；
  1. 其他命令

  删除 pipeline

    DELETE http://localhost:9200/_ingest/pipeline/enrich-dict-detail-id-policy-pipeline

  删除 enrich

    DELETE http://localhost:9200/_enrich/policy/enrich-dict-detail-id-policy

参考

  1. http://pap-docs.pap.net.cn/
  2. https://gitee.com/alexgaoyh/
alexgaoyihang
关注
  • 9
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Python 实现MySQL数据同步到Elasticsearch（ES）
07-26
Python中的MySQL数据同步到Elasticsearch（ES），使用pymysql库连接到MySQL数据库，并执行查询操作获取数据，从MySQL中获取数据，在Elasticsearch中创建一个索引，用于存储MySQL数据，定义映射（mapping），以指定...
Elasticsearch：enrich processor （7.5发行版新功能）
Elastic 中国社区官方博客
12-05 2732
我们使用enrich processor来简化数据的摄取。简单地说：您可以使用enrich processor在ingest期间将现有索引中的数据添加到传入文档中。比如，你可以在如下的场景中用到： 根据已知的IP地址识别Web服务或供应商 根据产品ID将产品信息添加到零售订单 根据电子邮件地址补充联系信息 根据用户坐标添加邮政编码 在我之前的一篇文章“Logstash：运用jdbc_str...
Enrich Processor——Elasticsearch 跨索引关联数据新方式
铭毅天下Elasticsearch
12-24 6045
1、实战项目需求需求1：有一个小需求kafka源数据:topicA:{"A_content":"XXX","name":"A","type":"XXX","id":1} topicB:{"...
Canal 实现MySQL与Elasticsearch7数据同步
热门推荐
吴名氏的博客
09-21 6万+
Canal 实现MySQL与Elasticsearch7数据同步
ES通过 Enrich Processor 的 Ingest Pipeline 实现关系数据库中的表关联（join）操作
Elastic开源社区
04-24 3411
文章目录1、引言2、背景3、使用场景4、原理5、Enrich Processor 的执行步骤5.1 检查前置条件5.2 检查源数据5.3 制定 Enrich 策略5.4 创建 Enrich 策略实例创建丰富策略后，使用 执行 enrich policy API 执行它以创建 enrich index。5.5 创建 Enrich Processor 并引用 Enrich Policy5.6 调用 Enrich Processor 执行索引创建5.7 最终生成 target index 如下所示6、案例类比彻底
【微服务】mysql + elasticsearch数据双写设计与实现
congge
11-04 8169
mysql + elasticsearch数据双写设计与实现
SpringBoot集成Elasticsearch（已实现各种ES操作，上手即可用
11-12
本实例涵盖ES中的各类操作，如索引操作、CRUD操作、批处理、结果排序、分页查询、检索查询、关键字查询、高亮显示、逻辑查询、过滤查询、分组查询等等。并且已经过生产环境验证，各位可放心使用。如有不对之处欢迎...
mysql-es:将MySQL同步到ElasticSearch，支持关系
05-26
MySQL-ElasticSearch同步 一个具有实时，无损失，一对一关系MySQL-ElasticSearch同步工具。 基于， 。 运河是Bin-log解析器，也是阿里巴巴的订户 版本 1.0-beta：2018-09-04 说明书 ，请点击这里 要求 Java 1.8...
相关性搜索利用Solr与Elasticsearch创建智能应用
07-23
资源名称：相关性搜索 利用Solr与Elasticsearch创建智能应用内容简介：《相关性搜索：利用Solr与Elasticsearch创建智能应用》揭开了相关性搜索的神秘面纱，告诉大家如何将 Elasticsearch与 Solr这样的搜索引擎作为可...
SpringBoot集成Elasticsearch（已实现各种ES操作，上手即可用）
04-18
本实例涵盖ES中的各类操作，如索引操作、CRUD操作、批处理、结果排序、分页查询、检索查询、关键字查询、高亮显示、逻辑查询、过滤查询、分组查询等等。并且已经过生产环境验证，各位可放心使用。
分布式搜索-elaticsearch基础 安装es
2301_79106424的博客
05-14 767
在ik文件config目录里边的xml文件。
容器化：ES和Kibana
天然玩家的博客
05-18 752
容器化ES和Kibana方便数据查询和统计。
Git版本控制工具的原理及应用详解（三）
凛鼕将至的博客
05-16 994
​ Git 是一个分布式版本控制系统（Distributed Version Control System, DVCS），用于跟踪和管理文件（如源代码）的更改。与传统的集中式版本控制系统（如 Subversion 或 CVS）不同，Git 将每个开发者的工作目录视为一个完整的代码仓库，允许开发者在本地进行提交、查看版本历史、创建分支和合并更改等操作，而不必连接到中心服务器。 本文将跟随《Git版本控制工具的原理及应用详解（二）》的进度，继续介绍Git版本控制工具。希望通过本系列文章的学
前端模块化（commonJs、ES Module）
最新发布
weijia_kmy的博客
05-18 946
模块化开发是我们开发当中用于组织和管理代码的方法，它的目的是将复杂的应用程序去拆分为更小和更好管理的模块单元，从而提高代码的复用性和可维护性。在早期的前端开发中，javascript代码通常以脚本的形式直接嵌在html文件中，或者通过多个脚本文件呢去进行一个处置，那这种方式存在一些问题，比如全局命名冲突，代码复用困难，依赖关系难以管理等等，特别是在多人协作的场景下，这种情况尤为常见，直到模块化的出现才从根本上去解决这些问题，这也正是js为什么需要模块的原因。那js的模块化是什么？怎么用？
git 拉取指定目录
持 开源思想，撰 必胜所学，望 勤学者，无难处
05-15 426
以拉取github中 fastjson 的 /src/test/java/oracle/sql/ 目录为例。知道了这些，你也可以手动去修改配置信息来完成，这个就由读者自己完成吧。文件sparse-checkout 和 内容，都是由指令4完成。打开 git 自带的Git Bash 工具。橙色由指令2和3添加上去。
ELK（Elasticsearch、Logstash 和 Kibana）
小丁的博客
05-17 965
ELK是包含但不限于Elasticsearch（简称es）、Logstash、Kibana 三个开源软件的组成的一个整体。这三个软件合成ELK。是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作ELK stack。本课程从分别对三个组件经行详细介绍，尤其是Elasticsearch，因为它是elk的核心。本课程从es底层对文档、索引、搜索、聚合、集群经行介绍，从搜索和聚合分析实例来展现es的魅力。Logstash从内部如何采集数据
Git 基础使用（4）标签管理
WSK1454360679的博客
05-18 397
创建签名标签：使用 git tag -s <tag_name> -m “<tag_message>” 命令创建签名标签时，Git 会使用您配置的 GPG 密钥对标签进行加密。通过为标签添加数字签名，可以确保标签的真实性和完整性，防止标签被篡改或伪造。通过使用签名标签，可以增加对代码版本的信任度和安全性，特别是在开源项目或多人协作的项目中更为重要。（Signed Tag）是 Git 中的一种特殊类型的标签，它与普通的标签（轻量标签和带注释的标签）相比，多了一个数字签名的功能。
elasticsearch(下载安装、基本操作、查询、聚合、SpringData-Elasticsearch)
小丁的博客
05-14 1144
什么是搜索， 计算机根据用户输入的关键词进行匹配，从已有的数据库中摘录出相关的记录反馈给用户。线性匹配：select * from item where title like ’%小米%‘比如，用户在百度文本框中输入，“吃饭睡觉写程序”，会出现的以下结果：从结果可以看出，百度搜索具备以下明显特点：1、即使在相关结果数量接近3600万时，也能快速得出结果。2、搜索的结果不仅仅局限于完整的“吃饭睡觉写程序”这一短语，而是将此短语拆分成，“写程序”，“吃饭”，“睡觉”，“程序”等关键字。3、对拆分后的搜索关键字进
使用 Elasticsearch 的 Java API 连接并操作 Elasticsearch8的具体实现
05-29
以上仅是 Elasticsearch Java API 的一部分示例，具体的操作可以根据实际需求进行调整。需要注意的是，Elasticsearch 8 中的 Java API 与 Elasticsearch 7 中有一些变化，比如 IndexRequest 和 SearchRequest 分别被...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值