Elasticsearch 运行时类型 Runtime fields 深入详解

最新推荐文章于 2023-10-23 16:56:48 发布
最新推荐文章于 2023-10-23 16:56:48 发布
阅读量5.8k 收藏 7
点赞数 4
分类专栏： 【深入详解Elasticsearch】 文章标签： java elasticsearch 数据库 大数据 es
本文为博主原创文章，未经博主书面授权不得转载。书面授权后方可转载，但转载请务必加上原作者：铭毅天下，原文地址：blog.csdn.net/laoyang360
本文链接：https://blog.csdn.net/laoyang360/article/details/120574142
版权

1、实战问题

实战业务中，遇到数据导入后，但发现缺少部分必要字段，一般怎么解决？

比如：emotion 代表情感值，取值范围为：0-1000。

其中：300-700 代表中性；0-300 代表负面；700-1000 代表正面。

但实际业务中，我们需要：中性：0；负面：-1；正面：1。

如何实现呢？

这时，可能想到的解决方案：

  • 方案一：重新创建索引时添加字段，清除已有数据再重新导入数据。

  • 方案二：重新创建索引时添加字段，原索引通过 reindex 写入到新索引。

  • 方案三：提前指定数据预处理，结合管道 ingest 重新导入或批量更新 update_by_query 实现。

  • 方案四：保留原索引不动，通过script 脚本实现。

方案一、二类似，新加字段导入数据即可。

方案三、方案四 我们模拟实现一把。

2、方案三、四实现一把

2.1 方案三 Ingest 预处理实现

DELETE news_00001
PUT news_00001
{
  "mappings": {
    "properties": {
      "emotion": {
        "type": "integer"
      }
    }
  }
}

POST news_00001/_bulk
{"index":{"_id":1}}
{"emotion":558}
{"index":{"_id":2}}
{"emotion":125}
{"index":{"_id":3}}
{"emotion":900}
{"index":{"_id":4}}
{"emotion":600}

PUT _ingest/pipeline/my-pipeline
{
  "processors": [
    {
      "script": {
        "description": "Set emotion flag param",
        "lang": "painless",
        "source": """
          if (ctx['emotion'] < 300 && ctx['emotion'] > 0)
            ctx['emotion_flag'] = -1;
          if (ctx['emotion'] >= 300 && ctx['emotion'] <= 700)
            ctx['emotion_flag'] = 0;
          if (ctx['emotion'] > 700 && ctx['emotion'] < 1000)
            ctx['emotion_flag'] = 1;
          """
      }
    }
  ]
}
POST news_00001/_update_by_query?pipeline=my-pipeline
{
  "query": {
    "match_all": {}
  }
}

方案三的核心：定义了预处理管道：my-pipeline，管道里做了逻辑判定，对于emotion 不同的取值区间，设置 emotion_flag 不同的结果值。

该方案必须提前创建管道，可以通过写入时指定缺省管道 default_pipeline 或者结合批量更新实现。

实际是两种细分实现方式：

  • 方式一：udpate_by_query 批量更新。而更新索引尤其全量更新索引是有很大的成本开销的。

  • 方式二：写入阶段指定预处理管道，每写入一条数据预处理一次。

2.2 方案四 script 脚本实现

POST news_00001/_search
{
  "query": {
    "match_all": {}
  },
  "script_fields": {
    "emotion_flag": {
      "script": {
        "lang": "painless",
        "source": "if (doc['emotion'].value < 300 && doc['emotion'].value>0) return -1; if (doc['emotion'].value >= 300 && doc['emotion'].value<=700) return 0; if (doc['emotion'].value > 700 && doc['emotion'].value<=1000) return 1;"
      }
    }
  }
}

方案四的核心：通过 script_field 脚本实现。

该方案仅是通过检索获取了结果值，该值不能用于别的用途，比如：聚合。

还要注意的是：script_field 脚本处理字段会有性能问题。

两种方案各有利弊，这时候我们会进一步思考：

能不能不改 Mapping、不重新导入数据，就能得到我们想要的数据呢？

早期版本不可以，7.11 版本之后的版本有了新的解决方案——Runtime fields 运行时字段。

3、Runtime fields 产生背景

Runtime fields 运行时字段是旧的脚本字段 script field 的 Plus 版本，引入了一个有趣的概念，称为“读取建模”（Schema on read）。

有 Schema on read 自然会想到 Schema on write（写时建模），传统的非 runtime field 类型 都是写时建模的，而 Schema on read 则是另辟蹊径、读时建模。

这样，运行时字段不仅可以在索引前定义映射，还可以在查询时动态定义映射，并且几乎具有常规字段的所有优点。

Runtime fields在索引映射或查询中一旦定义，就可以立即用于搜索请求、聚合、筛选和排序。

4、Runtime fields 解决文章开头问题

4.1 Runtime fields 实战求解

PUT news_00001/_mapping
{
  "runtime": {
    "emotion_flag_new": {
      "type": "keyword",
      "script": {
        "source": "if (doc['emotion'].value > 0 && doc['emotion'].value < 300) emit('-1'); if (doc['emotion'].value >= 300 && doc['emotion'].value<=700) emit('0'); if (doc['emotion'].value > 700 && doc['emotion'].value<=1000) emit('1');"
      }
    }
  }
}

GET news_00001/_search
{
  "fields" : ["*"]
}

4.2 Runtime fields 核心语法解读

第一：PUT news_00001/_mapping 是在已有 Mapping 的基础上 更新 Mapping。

这是更新 Mapping 的方式。实际上，创建索引的同时，指定 runtime field 原理一致。实现如下：

PUT news_00002
{
  "mappings": {
    "runtime": {
      "emotion_flag_new": {
        "type": "keyword",
        "script": {
          "source": "if (doc['emotion'].value > 0 && doc['emotion'].value < 300) emit('-1'); if (doc['emotion'].value >= 300 && doc['emotion'].value<=700) emit('0'); if (doc['emotion'].value > 700 && doc['emotion'].value<=1000) emit('1');"
        }
      }
    },
    "properties": {
      "emotion": {
        "type": "integer"
      }
    }
  }
}

第二：更新的什么呢？

加了字段，确切的说，加了：runtime 类型的字段，字段名称为：emotion_flag_new，字段类型为：keyword，字段数值是用脚本 script 实现的。

脚本实现的什么呢？

  • 当 emotion 介于 0 到 300 之间时，emotion_flag_new 设置为 -1 。

  • 当 emotion 介于 300 到 700 之间时，emotion_flag_new 设置为 0。

  • 当 emotion 介于 700 到 1000 之间时，emotion_flag_new 设置为 1。

第三：如何实现检索呢？

我们尝试一下传统的检索，看一下结果。

我们先看一下 Mapping：

{
  "news_00001" : {
    "mappings" : {
      "runtime" : {
        "emotion_flag_new" : {
          "type" : "keyword",
          "script" : {
            "source" : "if (doc['emotion'].value > 0 && doc['emotion'].value < 300) emit('-1'); if (doc['emotion'].value >= 300 && doc['emotion'].value<=700) emit('0'); if (doc['emotion'].value > 700 && doc['emotion'].value<=1000) emit('1');",
            "lang" : "painless"
          }
        }
      },
      "properties" : {
        "emotion" : {
          "type" : "integer"
        }
      }
    }
  }
}

多了一个 runtime 类型的字段：emotion_flag_new。

执行：

GET news_00001/_search

返回结果如下：

ebf3ff1b829d733f2b1591ddf5b90561.png

执行：

GET news_00001/_search
{
  "query": {
    "match": {
      "emotion_flag_new": "-1"
    }
  }
}

返回结果如下：

876934cb88bf4cd05637a6c2fabd4a09.png

执行：

GET news_00001/_search
{
  "fields" : ["*"],
  "query": {
    "match": {
      "emotion_flag_new": "-1"
    }
  }
}

返回结果如下：

9b7126dfac2b111dd04f30ec27ebad31.png

4.3 Runtime fields 核心语法解读

为什么加了：field:[*] 才可以返回检索匹配结果呢？

因为：Runtime fields 不会显示在：_source 中，但是：fields API 会对所有 fields 起作用。

如果需要指定字段，就写上对应字段名称；否则，写 * 代表全部字段。

4.4 如果不想另起炉灶定义新字段，在原来字段上能实现吗？

其实上面的示例已经完美解决问题了，但是再吹毛求疵一下，在原有字段 emotion 上查询时实现更新值可以吗？

实战一把如下：

POST news_00001/_search
{
  "runtime_mappings": {
    "emotion": {
      "type": "keyword",
      "script": {
        "source": """
         if(params._source['emotion'] > 0 && params._source['emotion'] < 300) {emit('-1')}
         if(params._source['emotion'] >= 300 && params._source['emotion'] <= 700) {emit('0')}
         if(params._source['emotion'] > 700 && params._source['emotion'] <= 1000) {emit('1')}
        """
      }
    }
  },
  "fields": [
    "emotion"
  ]
}

返回结果：

c55d2ff779cdc52aab2052e9ac90b771.png

解释一下：

第一：原来 Mapping 里面 emotion是 integer 类型的。

第二：我们定义的是检索时类型，mapping 没有任何变化，但是：检索时字段类型 emotion 在字段名称保持不变的前提下，被修改为：keyword 类型。

这是一个非常牛逼的功能！！！

早期 5.X、6.X 没有这个功能的时候，实际业务中我们的处理思路如下：

  • 步骤一：停掉实时写入；

  • 步骤二：创建新索引，指定新 Mapping，新增 emotion_flag 字段。

  • 步骤三：恢复写入，新数据会生效；老数据 reindex 到新索引，reindex 同时结合 ingest 脚本处理。

有了 Runtime field，这种相当繁琐的处理的“苦逼”日子一去不复回了！

5、Runtime fields 适用场景

比如：日志场景。运行时字段在处理日志数据时很有用，尤其是当不确定数据结构时。

使用了 runtime field，索引大小要小得多，可以更快地处理日志而无需对其进行索引。

6、Runtime fields 优缺点

优点 1：灵活性强

运行时字段非常灵活。主要体现在：

  • 需要时，可以将运行时字段添加到我们的映射中。

  • 不需要时，轻松删除它们。

删除操作实战如下：

PUT news_00001/_mapping
{
 "runtime": {
   "emotion_flag": null
 }
}

也就是说将这个字段设置为：null，该字段便不再出现在 Mapping 中。

优点 2：打破传统先定义后使用方式

运行时字段可以在索引时或查询时定义。

由于运行时字段未编入索引，因此添加运行时字段不会增加索引大小，也就是说 Runtime fields 可以降低存储成本。

优点3：能阻止 Mapping 爆炸

Runtime field 不被索引（indexed）和存储（stored），能有效阻止 mapping “爆炸”。

原因在于 Runtime field 不计算在  index.mapping.total_fields 限制里面。

缺点1：对运行时字段查询会降低搜索速度

对运行时字段的查询有时会很耗费性能，也就是说，运行时字段会降低搜索速度。

7、Runtime fields 使用建议

  • 权衡利弊：可以通过使用运行时字段来减少索引时间以节省 CPU 使用率，但是这会导致查询时间变慢，因为数据的检索需要额外的处理。

  • 结合使用：建议将运行时字段与索引字段结合使用，以便在写入速度、灵活性和搜索性能之间找到适当的平衡。

8、小结

本文通过实战中添加字段的问题引出解决问题的几个方案；传统的解决方案大多都需要更改 Mapping、重建索引、reindex 数据等，相对复杂。

因而，引申出更为简单、快捷的 7.11 版本后才有的方案——Runtime fields。

Runtime fields 的核心知识点如下：

  • Mapping 环节定义；

  • 在已有 Mapping 基础上更新；

  • 检索时使用 runtime fields 达到动态添加字段的目的；

  • 覆盖已有 Mapping 字段类型，保证字段名称一致的情况下，实现特定用途

  • 优缺点、适用场景、使用建议。

你在实战环节使用 Runtime fields 了吗？效果如何呢？

欢迎留言反馈交流。

参考

https://opster.com/elasticsearch-glossary/runtime-fields/

https://www.elastic.co/cn/blog/introducing-elasticsearch-runtime-fields

https://dev.to/lisahjung/beginner-s-guide-understanding-mapping-with-elasticsearch-and-kibana-3646

https://www.elastic.co/cn/blog/getting-started-with-elasticsearch-runtime-fields

推荐

1、重磅 | 死磕 Elasticsearch 方法论认知清单（2021年国庆更新版）

2、Elasticsearch 7.X 进阶实战私训课

e10ad8752bc85c2e544707b043594fef.png

更短时间更快习得更多干货！

已带领70位球友通过 Elastic 官方认证！

中国仅通过百余人

471f1adb35c8546c0be9b00cdda5b65b.gif

比同事抢先一步学习进阶干货！

铭毅天下
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Elasticsearch-深入理解索引原理
06-20
Elasticsearch-深入理解索引原理
Elasticsearch之深入了解Search的运行机制
01-20
Search 执行的时候实际分两个步骤运作的 – Query 阶段 – Fetch 阶段 Query-Then-Fetch Query阶段 Fetch阶段 相关性算分问题 相关性算分在shard与shard间是相互独立的，也就意味着同一个term的IDF值在不同shard上是不同的。文档的相关性算分和他所处的shard相关 在文档数量不多是，会导致相关性算分严重不准的情况发生 解决思路有两个： – 一是设置分片数为1个，从根本上排除问题，在问当数量不多的时候可以考虑该方案，比如百万到千万级别的文档数量 – 二是使用 DFS Query-then-Fetch 查询方式 – DFS Que
ElasticSearch集群节点类型
01-07
集群节点 ELasticsearch的集群是由多个节点组成的，通过cluster.name设置集群名称，并且用于区分其它的集群，每个节点通过node.name指定节点的名称。 在Elasticsearch中，节点的类型主要有4种： master节点： 配置文件中node.master属性为true(默认为true)，就有资格被选为master节点。 master节点用于控制整个集群的操作。比如创建或删除索引，管理其它非master节点等。 data节点： 配置文件中node.data属性为true(默认为true)，就有资格被设置成data节点。 data节点主要用于执行数据相关的操作。
Elasticsearch之属性和数值类型
01-07
一、属性        Elasticsearch中每个索引定义时都有一个映射mappings，该映射确定如何对文档建立索引。一个映射mappings中主要包含两部分：         1、元字段：主要包括每个文档的_index、_type、_id和_source以及_all等。其中常用的属性有：                 1>dynamic：是否可以动态索引数据。可以取值”true”、”false”或”strict”，默认为”true”。”true”表示如果存在索引中未定义的字段数据时，自动索引该字段数据，即该字段可以被作为查询条件被查询到；”false”表示如果存在索引中未定义的字段
Elasticsearch：使用 runtime fields 探索你的数据
Maisu的博客
12-26 364
考虑要提取字段的大量日志数据。 为数据建立索引非常耗时，并且会占用大量磁盘空间，而你只想探索数据结构而无需预先提交 schema。
elasticsearch中使用runtime fields
huan的学习记录
02-02 608
在我们使用es的开发过程中可能会遇到这么一种情况，比如我们的线路名称字段lineName字段在设置mapping的时候使用的是text类型，但是后期发现需要使用这个字段来进行聚合操作，那么我们除了对索引进行reindex操作外，还有什么办法可以解决这个问题呢？此处我们通过runtime field来解决。
es数据防篡改方案通过_version和runtime fields特性来实现
qq_35515283的博客
10-12 1231
es数据防篡改方案通过_version和runtime fields特性来实现,包括对_version和runtime fields的介绍
Elasticsearch基础篇(六)：es映射和常用的字段类型
最新发布
后端开发
10-23 1827
在 Elasticsearch 中，映射是索引的关键组成部分，它定义了文档的结构和字段。每个文档都包含一个或多个字段，而映射定义了这些字段的数据类型、如何分析文本、字段是否可搜索等信息。映射的主要作用包括：定义字段类型：你可以指定字段是文本、数字、日期、地理位置等数据类型。文本分析：决定如何对文本字段进行分析，例如拆分为单词、去除停用词、转换大小写等。字段是否存储：你可以设置字段是否需要存储原始值，以便在检索时使用。索引选项：控制字段是否被索引，以及如何索引
ElasticSearch 基础（五）之 映射
weixin_43844718的博客
03-07 2579
映射（Mapping）是定义文档及其包含的字段如何存储和索引的过程。每个文档都是字段的集合，每个字段都有自己的数据类型。映射数据时，创建映射定义，其中包含与文档相关的字段列表，决定字段使用什么分词器解析，是否有子字段等。映射定义还包括元数据字段，如_source字段，用于自定义如何处理文档的关联元数据。MySQLIndex（索引）Table（数据表）Dcoument（文档）Row（行）Fields（字段）Column（列）在 ES 7.0.0之前，映射定义包含一个类型名。
Elasticsearch：Runtime fields 及其应用（一）
Elastic 中国社区官方博客
06-17 1605
​我们知道， 从历史上看，Elasticsearch依靠 schema on write 的模式来快速搜索数据。如果一个索引，在一开始是没有定义 mapping 的，那么当我们写入第一个数据时，Elasticsearch 会根据自己的猜测来给写入的文档的字段定义类型。现在，我们向 Elasticsearch 添加了 schema on read 模式，以便用户可以灵活地在摄取后更改文档的 schema，还可以生成仅作为搜索查询一部分存在的字段。这个字段只存在于 read 的时候，也就是在查询的时候。sc..
Spring Boot整合ElasticSearch实现多版本兼容的方法详解
08-27
简单说，ElasticSearch（简称 ES）是搜索引擎，是结构化数据的分布式搜索引擎。下面这篇文章主要给大家介绍了关于Spring Boot整合ElasticSearch实现多版本兼容的相关资料，需要的朋友可以参考借鉴，下面来一起看看吧
Elasticsearch基本数据类型
m0_50689246的博客
05-09 631
Elasticsearch基本数据类型数值类型字符类型stringtextkeyword日期复合类型array地理类型geo_pointMapping设计原则动态映射自定义类型检查显示映射运行时字段 数值类型，字符类型，布尔类型，日期类型，复合类型，地理类型 主要类型：text,keyword,boolean,byte,short,integer,long 数值类型 byte，short，integer，long，这四个整数类型对应1,2,4,8个字节，每个字节8位，都是有符号整数。 float,do
elasticsearch学习DSL查询
u011649691的博客
11-23 962
1、普通查询 { "query": { "bool": { "must": [ { "wildcard": { "interface_name": "*CacheRequestBodyFilter*" } }, { "match_phrase_prefix": { "message": "接口访问" }
Elasticsearch：创建 Runtime field 并在 Kibana 中使用它 - 7.11 发布
Elastic 中国社区官方博客
02-12 2139
在之前的文章 “Elasticsearch：使用 Runtime fields 对索引字段进行阴影处理以修复错误 - 7.11 发布”，我展示了如何使用 runtime field 来 shadow 一个已有的在 mapping 中的字段，比如 duration。在今天的练习中，我将展示如何创建一个崭新的字段并进行数据的统计。在这里请注意的是：新增加的 runtime field 并不在 source 中添加，而只是在查询时生成的，也即 schema on read。 在接下来的练习中，它包含创建 run
ES JAVA API Client 使用方法
qq_35515283的博客
10-25 1440
Java Api Client 属于7.15后的新特性，用起来感觉比原来HighLevelRestClient要简化很多，而且更接近dsl语句。 我这里是某个特殊场景要用，资料不太多，只能自己摸索出的一点JAVA API Client使用方法，用作启发，作一些常用的操作应该没啥问题。
es php配置返回的字段,Elasticsearch中使用script_fields的同时还返回_source字段的方法...
weixin_29936201的博客
03-12 1206
如何保留_source字段的同时返回新增自定义字段背景Elasticsearch说它能满足一切意料之中和意料之外的需求，通常，增加一个返回字段就是意料之外又是意料之中的需求。。。通过官方文档，可以看到，通过script_fields我们可以自定义一些返回字段。但是，如果你只使用这个，会发现_source字段没了。。。 这就太不友好了，总不能通过script_fields把所有_source字段也都...
Elasticsearch：Script fields 及其调试
Elastic 中国社区官方博客
04-14 7414
在之前的文章 “Elasticsearch：从搜索中获取选定的字段”，我有讲到过一些关于 script fields 的话题。在今天的文章中，我想就这个话题更进一步地详述。在搜索时，每个 _search 请求的匹配（hit）可以使用 script_fields（基于不同的字段）定制一些属性。这些定制的属性（script fields）通常是： 针对原有值的修改（比如，价钱的转换，不同的排序方法等） 一个崭新的及算出来的属性（比如，总和，加权，指数运算，距离测量等） 一个 _search 请求能定义多于.
ES中script脚本的使用
热门推荐
弹指天下
11-09 2万+
本文主要介绍了ES中script脚本的使用。 其主要作用是：提取字段属性，进行表达式计算。 最典型的使用场景是：定义运行时字段。
java es mapping_【java操作Elasticsearch之mapping和aliases】
weixin_31939167的博客
03-06 400
?Elasticsearch之创建mapping--字段类型映射,以及别名??package estest.cn.com.esdemo;?import net.sf.json.JSONObject;?import org.apache.http.HttpEntity;import org.apache.http.HttpResponse;import org.apache.http.client....
ElasticSearch(ES)详解
05-11
Elasticsearch是一个开源搜索引擎，基于Lucene搜索库并构建在Apache Lucene之上，由Elastic公司开发。它提供了一个分布式、多租户的全文搜索引擎，具有RESTful web接口和基于JSON的文档存储。 以下是ES的主要特点： 1. 分布式搜索引擎：ES是基于分布式架构的搜索引擎，可以在多个服务器上进行安装和配置，以实现高可用性和可伸缩性。 2. 实时搜索：ES可以在实时中搜索数据，支持快速的数据检索和分析。 3. 多数据源：ES可以通过不同的数据源进行数据的集成，包括关系型数据库、NoSQL数据库、以及各种格式的文件等。 4. 数据分析：ES提供各种数据分析和聚合工具，包括直方图、统计数据、地理位置信息等。 5. 可扩展性：ES可以根据需要进行快速扩展和缩小，以满足不同的业务需求。 6. 多语言支持：ES支持多种语言的搜索和分析，包括Java、Python、Ruby等。 7. 易于安装和使用：ES具有良好的文档和社区支持，易于安装和使用。 总之，ES是一个功能强大的搜索引擎，具有广泛的应用场景，包括电子商务、社交网络、日志分析、安全监控等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

铭毅天下

和你一起，死磕Elastic！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值