Elastic Search | 记一次Kibana执行ES-DSL脚本实战思考过程

最新推荐文章于 2024-08-19 14:14:37 发布
最新推荐文章于 2024-08-19 14:14:37 发布
阅读量4k 收藏 2
点赞数 2
分类专栏： ELK Stack（ES、Logstash、Kibana） 文章标签： elasticsearch big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yxd179/article/details/122754295
版权

目录

开篇

适合场景

重要考虑

脚本引擎历史

脚本引擎应用

DSL语法大全

脚本引擎案例

结尾

开篇

分而治之是大数据计算的基本思路，特分享一款天然的分布式全文搜索引擎-Elastic Search，而如何归并，是分而治之的重点难题。在HA集群节点架构中，各个节点主备分片如何分配，各分片搜索结果如何得出最终结果…

适合场景

当千万乃至更大数据量，需要像传统DBMS关系型数据库一样，实现在海量数据中作模糊搜索，全文搜索，又需要有一定程度的检索效率，突破传统DBMS性能瓶颈，那么ES很适合与关系型数据库形成互补，ES在搜索领域拥有强悍的性能，而传统DBMS关系型数据库分库分表组合查询相当麻烦，而ES组合灵活-自动路由（开发者无需在业务层作过多干涉），当然，在大数据量复杂查询的话，深度分页需要优化下，简单的查询几十亿问题不大，若超大则可上集群，再可上ES-ClickHouse.

重要考虑

虽然传统DBMS关系型数据库表中数据，可通过一系列方案-结合实际业务作数据同步至ES（数据建模），但当大批量数据同步到ES单节点，或从节点往集群迁移copy数据，基于logstash亦或是基于ES-Transport批量提交数据，数据需要实时更新亦或离线初始化，还有就是聚合的性能以及一些高级属性，比如copy to，script脚步引擎应用，mapping设计之动态模版映射动态索引或为指定索引匹配预制动态模版等等…

脚本引擎历史

一、Elasticsearch Script History-分布式全文搜索-脚本引擎历史

在ES早期的版本中，使用MVEL脚本，但为解决安全隐患问题，于是Groovy脚本诞生。

随之出现的安全漏洞跟内存泄露问题，于是在ES5.0版本之际，painless脚本官宣，距今也有数年之久，painless脚本浮现在开发者眼前。

脚本引擎应用

二、Elasticsearch Script ApplyCenarios-分布式全文搜索-脚本引擎应用场景

我们都很熟悉的认知到Elasticsearch全文搜索引擎，在其各版本系列中提供了丰富的dsl语法-增删改查-这里以6.x版本系列-6.8.6为例。

在80%以上的业务场景中作增删改查游刃有余，但应用于相对复杂的业务场景：

多字段自定义更新、自定义reindex、自定义数组字段动态添加...

https://www.elastic.co/guide/en/elasticsearch/painless/6.8/painless-regexes.html

当然基于脚本引擎手动开发插件也是可以实现的。

https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-scripting-engine.html

从painless脚本的衍生意义理解是"无痛"无漏洞的，但尤其需要注意的地方-不能以root账户启动es，不要公开es路径至其他用户。

从官方Script使用的介绍来看，首要就是性能问题，其次就是使用业务场景，ebay在性能优化实践英文版中也有体现，

https://www.ebayinc.com/stories/blogs/tech/elasticsearch-performance-tuning-practice-at-ebay/

这里也mark下中文版。

https://www.infoq.cn/article/elasticsearch-performance-tuning-practice-at-ebay

其中，80%以上的业务场景：参考小编汇总Elasticsearch+Kibana+Dsl-Crud大全

DSL语法大全

#节点信息
GET _cat/nodes?v
GET _cat/master

#各节点机器存储信息
GET _cat/allocation?v

#索引信息
GET _cat/indices?v
GET /_cat/count
GET /_cat/count/yd-2021
GET _cat/indices/yd-hlht-test-2022

#分片信息
GET _cat/shards?v
GET _cat/shards/yd-hlht-test-2022

#查看所有分片的恢复状况-该命令查看initializing分片的恢复进度
GET _cat/recovery/

GET _cat/recovery/yd-hlht-test-2022

GET _cluster/health

GET _cluster/nodes/hot_threads

#查看分片未分配原因
GET /_cat/shards?h=index,shard,prirep,state,unassigned.*,unassigned.reason | grep UNASSIGNED

#查看具体分片未分配原因
GET _cluster/allocation/explain
{
  "index":"yd-hlht-test-2022",
  "shard":0,
  "primary":false
}

#注册快照存储库-仓库共享
PUT _snapshot/my_backup
{
  "type": "fs",
  "settings": {
    "location": "/home/user/yxd179/es/backup"
  }
}

#查看仓库信息
GET /_snapshot/my_backup?pretty

#查看快照存储库保存结果
GET _snapshot

#创建快照，这个会备份所有打开的索引到my_backup仓库下并命名为snapshot_yd的快照里。这个调用会立刻返回，然后快照会在后台运行。若是希望在脚本中一直等待到完成，可通过添加 wait_for_completion 标记实现，这个会阻塞调用直到快照完成（如果是大型快照，会花很长时间才返回），其中只会备份索引809iJpOmSI2ZmJrUqKRR0Q信息
PUT /_snapshot/my_backup/snapshot_yd?wait_for_completion=true
{
  "indices": "809iJpOmSI2ZmJrUqKRR0Q",
  "ignore_unavailable": true,
  "include_global_state": false,
  "metadata": {
    "taken_by": "phr",
    "taken_because": "backup before upgrading"
  }
}
#查看快照
GET /_snapshot/my_backup/snapshot_yd
#查看所有快照
GET /_snapshot/my_backup/_all
#删除快照
DELETE /_snapshot/my_backup/snapshot_yd
#监控快照创建或恢复过程
GET /_snapshot/my_backup/snapshot_yd/_status
#恢复快照
POST /_snapshot/my_backup/snapshot_yd/_restore
#动态模板
PUT /_template/yxd179_tpl
{
  "index_patterns": [
    "yxd179-2021*"
  ],
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 1
  },
  "mappings": {
    "yd": {
      "dynamic_templates": [
        {
          "strings": {
            "match_mapping_type": "string",
            "mapping": {
              "type": "text",
              "index": true,
              "copy_to": "full_context",
              "analyzer": "ik_max_word",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        }
      ],
      "properties": {
        "full_context": {
          "type": "text",
          "analyzer": "ik_max_word",
          "fielddata": true,
          "store": true
        }
      }
    }
  }
}
​
#副本分片分配设置
PUT /yxd179-2021/_settings
{
  "number_of_replicas": "1"
}

#分页查询
GET /yxd179-2021/yd/_search
{
  "from": 0,
  "size": 30
}
​
#根据ID查询
GET /yxd179-2021/yd/647461503271768064
​
#bool query dsl查询
GET /yxd179-2021/yd/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "bool": {
            "should": [
              {
                "match": {
                  "regNumber": "20203030651"
                }
              }
            ]
          }
        },
        {
          "term": {
            "status": "1"
          }
        }
      ]
    }
  },
  "sort": [
    {
      "createTime": {
        "order": "desc"
      }
    }
  ],
  "from": 0,
  "size": 10
}
​
#允许ES最大滚动数目分配设置
PUT /yxd179-2021/_settings
{
  "index": {
    "max_result_window": 13000000
  }
}
​
#查看字段分词分析过程
POST /yxd179-2021/_analyze
{
  "field": "regNumber",
  "text": "国械标准20203030651号"
}
​
#模糊查询匹配
GET /yxd179-2021/yd/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "bool": {
            "should": [
              {
                "wildcard": {
                  "regNumber.keyword": "*20203030651*"
                }
              }
            ]
          }
        },
        {
          "term": {
            "status": "1"
          }
        }
      ]
    }
  },
  "sort": [
    {
      "createTime": {
        "order": "desc"
      }
    }
  ],
  "from": 0,
  "size": 10
}
​
#对指定字段设置分词器查询
GET /yxd179-2021/yd/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "hdsd0001004": {
              "query": "1828551417",
              "analyzer": "char_analyzer"
            }
          }
        }
      ]
    }
  },
  "from": 0,
  "size": 30
}
​
#模糊查询匹配
GET /yxd179-2021/yd/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "wildcard": {
            "hdsd0001002.keyword": "*yxd179*"
          }
        }
      ]
    }
  },
  "from": 0,
  "size": 30
}
​
#关闭索引:
POST yxd179-2021/_close
​
#打开索引:
POST yxd179-2021/_open
​
#对指定字段设置分词器
PUT /yxd179-2021/_mapping/yd
{
  "properties": {
    "hdsd0001004": {
      "type": "text",
      "analyzer": "char_analyzer"
    }
  }
}
​
#查看mapping结构体信息
GET yxd179-2021/_mapping
​
#设置分词分析器
PUT yxd179-2021/_settings
{
  "analysis": {
    "analyzer": {
      "char_analyzer": {
        "tokenizer": "char_tokenizer",
        "filter": "lowercase"
      }
    },
    "tokenizer": {
      "char_tokenizer": {
        "type": "pattern",
        "pattern": "|"
      }
    }
  }
}
​
#minimum_should_match
GET /yxd179-2021/yd/_search
{
  "query": {
    "query_string": {
      "query": "182855141y7",
      "type": "phrase",
      "operator": "AND",
      "minimum_should_match": "100%",
      "fields": [
        "hdsd0001004"
      ]
    }
  }
}
​
#显示字段
GET /yxd179-2021/yd/_search
{
  "_source": {
    "include": [
      "id",
      "productId"
      ]
  },
  "query": {
    "bool": {
      "must": [
        {
          "terms": {
            "productId": [
              636654265306419462
              ]
          }
        }
      ]
    }
  },
  "from": 0,
  "size": 30
}
​
#高亮查询
GET /yxd179-2021/yd/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "bool": {
            "should": []
          }
        },
        {
          "term": {
            "status": "1"
          }
        },
        {
          "term":{
            "id":636662671736099971
          }
        }
      ]
    }
  },
  "sort": [
    {
      "id": {
        "order": "asc"
      }
    }
  ],
  "highlight": {
    "pre_tags": [
      "<span class='title-key'>"
    ],
    "post_tags": [
      "</span>"
    ],
    "fields": {
      "commonName": {
        "type": "plain"
      }
    }
  },
  "from": 0,
  "size": 10
}
​
#read_only_allow_delete
PUT /yxd179-2021/_settings
{
  "index":{
    "blocks":{
      "read_only_allow_delete":"false"
    }
  }
}
​
#查询模板
GET /_template
​
GET /yxd179-2021*/yd/_search
{
  "from": 0,
  "size": 30
}
​
#单个字段bool查询
GET /yxd179-2021/yd/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "id": "636651493706133509"
          }
        }
      ]
    }
  },
  "from": 0,
  "size": 30
}
​
#批量
POST /_bulk
{"index":{"_index":"yxd179-2021","_type":"yd","_id":"65965969996688"}}
{"id":"65965969996688","HDSD0001002":"sdff","HDSD0001008":"fsdf","HDSD0001006":"000000000000000000","create_time":"2021-07-29","cancel_flag":0}
{"index":{"_index":"yxd179-2021","_type":"yd","_id":"66049829996688"}}
{"id":"66049829996688","HDSD0001002":"sdgsdg","HDSD0001008":"fsdfsdf","HDSD0001006":"000000000000000000","create_time":"2021-07-29","cancel_flag":1}

更多dsl语法大全，请见->Elasticsearch进阶篇@记kibana执行dsl脚本实战过程

脚本引擎案例

三、Elasticsearch Script ActualCombat-分布式全文搜索-脚本引擎实战

这里仅以Update-By-Query为例： 

其中，lang指定脚本引擎：painless，source中为script脚本片段，params为脚本参数值。

之所以通过params传递，可突破ES对脚本编译限制，虽然也可以通过下面操作来修改该解析上限的配置：

PUT /_cluster/settings
{
  "transient": {
    "script.max_compilations_per_minute": 40
  }
}

重要：对于大批量数据，ES都需要单独的编译解析，当进行bulk update时，若是每一个脚本都实时编译的话，可想而知很快就会达到上限。知其然知其所以然，对于ES中都只会在第一次进行解析这个脚本，之后便无需再次解析，当脚本中有常数变量时，ES会实时编译脚本，故结合script中的param功能，设法将脚本中的变量通过param传递进去，从而可以从根本上解决脚本编译解析限制的问题。

接下来，我们看下在Java中怎么样基于6.8.6版本构建tcp client执行painless脚本引擎？ 

补充：对updateByQuery API的调用从获取索引快照开始，索引使用内部版本控制找到任何文档。

试想当一个文档在快照的时间和索引请求过程之间发生变化时，会发生版本冲突。当版本匹配时，updateByQuery更新文档并增加版本号。上述为了防止版本冲突导致updateByQuery中止，还可以设abortOnVersionConflict(false)，之所以这么做，是有可能它试图获取在线映射更改，而版本冲突意味着在相同时间开始updateByQuery和试图更新文档的冲突文档，该更新将获取在线映射更新，updateByQuery也可以通过指定pipeline来使用ingest节点。其中UpdateByQueryRequestBuilder API可支持过滤更新的文档，限制要更新的文档总数，并使用脚本更新文档，即时刷入磁盘，重试次数等。

Retry： 当客户端A、B几乎同时获取同一个文档, 一并获得_version版本信息, 假设此时_version=1。

接着，客户端A修改文档中的部分内容, 将修改写入索引。而Elasticsearch在写入索引时, 检查客户端A提交的文档的版本信息(这里仍然是1) 和 现存的文档的版本信息(这里也是1), 发现相同后, 执行写入操作, 并修改版本号_version=2。然后客户端B也修改文档中的部分内容, 其操作写回索引的速度稍慢，此时同样执行写入过程，ES发现客户端B提交的文档的版本为1, 而现存文档的版本为2，即发生冲突，此次partial update将失败-重试。

并发控制策略：partial update并发控制策略-乐观锁

结尾

小试牛刀案例：如何通过脚本引擎指定多个字段update？

方式No.1：

ctx._source.putAll(params)

方式No.2：

for (k in params.keySet()){if (!k.equals('ctx')){ctx._source.put(k, params.get(k))

末尾：后续Java框架体系，数据库技术体系，大数据体系进阶案例实战都会同时更新，微信公众号同步，旨在分享的初衷，欢迎提出宝贵建议^_^

每天译点晓知识
关注
专栏目录
【Elasticsearch】es脚本编程使用详解
congge
10-25 5628
es脚本编程使用详解
Mall4j商城实战 - 部署 elasticsearch、kibana 数据搜索
yueerba126的博客
11-15 277
Elasticsearch 的查询流程是一个精密的机制，旨在快速、准确地从大量数据中检索信息。
Kibana--部署脚本
好好学习技术
01-06 453
Kibana–部署脚本 #!/bin/bash Kibana_path=$PWD echo -e "\033[40;33m ========= kibana 部署路径 $Kibana_path ========== \033[0m" start=$1 if [ $start = 'start' ]; then nohup ./kibana > ./kibana.log 2>&1 & echo -e "\033[40;33m ==== kibana ok ====
ElasticSearch 入门demo Kibana脚本操作
qq_27390107的博客
06-02 623
###################操作索引########################### #索引的增删-查 #PUT DELETE GET HEAD #添加 PUT myindex #删除索引 DELETE myindex #查询 GET myindex #关闭索引 不能添加 POST myindex/_close #开启索引 POST myindex/_open GET myindex ###################操作映射########################### #
使用 Elasticsearch-DSL Python 客户端简化向量嵌入
最新发布
Elastic 中国社区官方博客
08-19 1902
在本文中，我们将介绍 Python 版 Elasticsearch-DSL 客户端，重点介绍它如何简化构建有时被 称为 “高级” Python 客户端，它提供对 Elasticsearch 数据库的惯用（或 “Pythonic”）访问，而官方（或 “低级”）Python 客户端则提供对 Elasticsearch 全部功能和端点的直接访问。使用 Elasticsearch-DSL 时，Elasticsearch 索引的结构（或 “mapping - 映射”）被定义为类，
Elasticsearch进阶篇 | 记一次kibana执行dsl脚本实战过程
yxd179的博客
07-29 2052
Elasticsearch进阶 | 记一次kibana执行dsl脚本实战的思考过程
Kibana8 安装配置以及开机启动脚本
赵树祥的博客
07-07 2012
https://www.elastic.co/cn/downloads/kibana 新建文件夹 上传至文件夹下解压： 移动到 三、配置 添加用户，并授权因为kibana不能用root用户启动： 2.修改 四、启动： 1. 直接启动 2.制作启动脚本（非必要） kibana.sh kibana-service.sh 将放到文件夹下；放到并授权可执行权限。 执行以下命令格式化 开机启动： 启动命令.........
在kibana中操作es的dsl语句
qq_41611829的博客
07-12 1038
目录 增删改查 bool过滤查询 范围过滤 聚合查询 avg、max、count 复合查询 scroll查询 dynamic mappings 增删改查 bool过滤查询 范围过滤 聚合查询 avg、max、count 复合查询 将多个查询组合成单一查询的查询 使用bool查询 scroll查询 dynamic mappings
2.ELK之Elasticsearch常用DSL语句(kibana语句)
热门推荐
mijichui2153的博客
06-23 2万+
Filter DSL term 过滤 term主要用于精确匹配哪些值，比如数字，日期，布尔值或 not_analyzed 的字符串(未经分析的文本数据类型)： { “term”: { “age”: 26 }} { “term”: { “date”: “2014-09-01” }} { “term”: { “public”: true }} { “term”: { “tag”: “full_text” }} 完整的例子， hostname 字段完全匹配成 xxx 的数据： { "query"
elasticsearch-7.17.3
06-09
Elasticsearch 7.17.3 是一个高度可扩展的开源全文搜索引擎，以其强大的分布式、实时搜索和分析能力而闻名。它基于Lucene构建，但提供了更高级别的API和服务，使得管理和操作大规模数据变得更加简单。这个版本的...
1.ELK之Elasticsearch&Kibana一篇入门(安装/分片/操作流程/常用语句/分词)
mijichui2153的博客
08-05 7548
elasticsearch安装
elasticsearch-6.2.4相关的所有安装包（es-sql、kibana、nodejs等）
09-13
elasticsearch-6.2.4相关的所有安装包（es-sql、kibana、nodejs等）可以根据我的文档成功搭建完整的es环境，以免走弯路。包括es-sql的使用，es-sql可以使用简单的sql代替复杂的es查询语句。
elasticsearch基于kibana的DSL语法知识
m0_56098159的博客
09-07 683
5.2.1 查看es中有哪些索引 表头的含义 5.2.2 增加一个索引 5.2.3 删除一个索引 5.2.4 新增文档 5.2.5 直接用id查找 5.2.6 修改—整体替换 5.2.7修改—某个字段 修改开头使用 POST 结尾：_update 修改document中内容（相当于java中修改对象中的属性），关键字为 ：doc 5.2.8 删除一个document 5.2.9 搜索type全部数据 5.2.10 按条件查询(全部) 5.2.11 按分词查询 5.2.12 按分词子属
ElasticSearch(4) Kibana客户端 DSL查询与过滤
郑清
01-06 9378
什么是dsl？？ 由ES提供丰富且灵活的查询语言叫做DSL查询(Query DSL),它允许你构建更加复杂、强大的查询。DSL(Domain Specific Language特定领域语言)以JSON请求体的形式出现 组成 --> dsl=dsl查询+dsl过滤 dsl过滤简单理解为就是精确查询,而dsl查询是模糊查询(like).由于查询需要做相关度...
DSL，日常脚本语言，以及底层功能强大通用的静态语言
rosonex的专栏
01-22 1060
scala
dsl java 语言_DSL实现要点(3)--利用脚本语言实现DSL
weixin_34221154的博客
02-15 2837
由于脚本语言通常提供了更为简洁的语法及Java所不具有的一些新的语言特性(如：闭包，元编程等)，所以在一些情况下可以创造出比Java程序更具有可读性的代码。另外，众多基于JVM的脚本语言也为与Java程序整合带来了便利。Client: 语义模型实例的调用者SemanticConcept: 语义模型定义,可以通过脚本语言或Java实现ModelBuilder: 语义模型实例创建者，使用语义模型定义创...
PromptScript：轻量级 DSL 脚本，加速多样化的 LLM 测试与验证
Phodal's zenthink
10-11 1310
TL；DR 版本PromptScript 是一个轻量级的 Prompt 调试用的 DSL （Yaml）脚本，以用于快速使用、构建 Prompt。PromptScript 文档：https://framework.unitmesh.cc/prompt-scriptWhy PromptScript ？几个月前，在研究 LLM 进行研究效能提升时，我们构建了 UnitMesh (https://gith...
es增量自定义更新的脚本
Ran
01-01 2510
es增量自定义更新的脚本
Kotlin基础——DSL
松仔Log的博客
02-24 1100
通过扩展函数实现获取一天前和一天后的日期。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值