Elasticsearch脚本查询

最新推荐文章于 2024-05-27 04:52:21 发布
最新推荐文章于 2024-05-27 04:52:21 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： Elasticsearch ES 文章标签： elasticsearch jenkins 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taugast/article/details/131562206
版权
文章介绍了Elasticsearch中的脚本查询功能，特别是Painless语言，用于处理复杂的搜索场景，包括数据修改、删除和更新。Painless提供了高性能且安全的脚本编写能力，允许对_source字段进行操作，同时提到了doc和_source访问属性的区别及其影响。文章还展示了脚本在实际操作中的例子，如增删改查操作和参数化查询。
摘要由CSDN通过智能技术生成

Elasticsearch脚本查询

什么/为什么

Scripting是Elasticsearch支持的一种专门用于复杂场景下支持自定义编程的强大的脚本功能，ES支持多种脚本语言，如painless，其语法类似于Java,也有注释、关键字、类型、变量、函数等，其就要相对于其他脚本高出几倍的性能，并且安全可靠，可以用于内联和存储脚本。

核心就是解决复杂的查询以及兼顾性能.

ES支持的一些脚本语言

  1. LanguageSandboxedRequired pluginPurpose
    painlessYesBuilt-inPurpose-built for Elasticsearch
    expressionYesBuilt-inFast custom ranking and sorting
    mustacheYesBuilt-inTemplates
    javaNoYou write it!Expert API

语法格式

官网文档:https://www.elastic.co/guide/en/elasticsearch/reference/7.17/modules-scripting.html

## ctx._source<.field_name>
## ctx只的是hit到的source数据这里的数据都可支持修改,但是元数据不要修改,修改完数据就变了,最好修改_source内的

GET test_idx_aggs/_doc/1
POST test_idx_aggs/_doc/1
{
  "script": {
    "source": "ctx._id+=1"
  }
}
GET test_idx_aggs/_doc/1

POST test_idx_aggs/_doc/1
{
  "script": {
    "source": "ctx._source.price+=1"
  }
}

不要修改元数据

修改元数据前后

{
  "_index" : "test_idx_aggs",
  "_type" : "_doc",
  "_id" : "2",
  "_version" : 1,
  "_seq_no" : 1,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "name" : "小米NFC手机",
    "desc" : "支持全功能NFC，手机中的滑翔机",
    "price" : 4999,
    "lv" : "旗舰机",
    "type" : "手机",
    "createtime" : "2020-05-21T08:00:00Z",
    "tags" : [
      "性价比",
      "发烧",
      "公交卡"
    ]
  }
}

# POST test_idx_aggs/_doc/2
#! Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.17/security-minimal-setup.html to enable security.
{
  "_index" : "test_idx_aggs",
  "_type" : "_doc",
  "_id" : "2",
  "_version" : 2,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 15,
  "_primary_term" : 3
}

# GET test_idx_aggs/_doc/2
#! Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.17/security-minimal-setup.html to enable security.
{
  "_index" : "test_idx_aggs",
  "_type" : "_doc",
  "_id" : "2",
  "_version" : 2,
  "_seq_no" : 15,
  "_primary_term" : 3,
  "found" : true,
  "_source" : {
    "script" : {
      "source" : "ctx._seq_no+=1"
    }
  }
}

修改数据

GET test_idx_aggs/_doc/3
POST test_idx_aggs/_update/3
{
  "script": {
    "lang": "painless",
    // 注意add方法得看数据具体类型,这里如果是数组链表类似的结构可以执行add,如果源数据是一个字符串则报错
    "source": "ctx._source.tags.add('NFC')"
  }
}
GET test_idx_aggs/_doc/3

删除数据

脚本

GET test_idx_aggs/_doc/1
POST test_idx_aggs/_update/1
{
  "script": {
    "lang": "painless",
    "source": "ctx.op='delete'"
  }
}
GET test_idx_aggs/_doc/1

结果

# GET test_idx_aggs/_doc/1
#! Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.17/security-minimal-setup.html to enable security.
{
  "_index" : "test_idx_aggs",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 5,
  "_seq_no" : 14,
  "_primary_term" : 3,
  "found" : true,
  "_source" : {
    "script" : {
      "source" : "ctx._id+=1"
    }
  }
}

# POST test_idx_aggs/_update/1
#! Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.17/security-minimal-setup.html to enable security.
{
  "_index" : "test_idx_aggs",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 6,
  "result" : "deleted",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 17,
  "_primary_term" : 3
}

# GET test_idx_aggs/_doc/1
#! Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.17/security-minimal-setup.html to enable security.
{
  "_index" : "test_idx_aggs",
  "_type" : "_doc",
  "_id" : "1",
  "found" : false
}

查询验证

GET test_idx_aggs/_search
{
  "query": {
    "match": {
      "_id": 1
    }
  }
}

upsert

有则更新无则插入

GET test_idx_aggs/_doc/1
POST test_idx_aggs/_update/1
{
  "script": {
    "lang": "painless",
    "source": "ctx._source.price+=99"
  }
  , "upsert": {
        "name" : "小米NFC手机",
    "desc" : "支持全功能NFC，手机中的滑翔机",
    "price" : 4999,
    "lv" : "旗舰机",
    "type" : "手机",
    "createtime" : "2020-05-21T08:00:00Z",
    "tags" : [
      "性价比",
      "发烧",
      "公交卡"
    ]
  }
}
GET test_idx_aggs/_doc/1

其他

GET test_idx_aggs/_search
{
  "script_fields": {
    // 查询结果存储的字段名称
    "my_col_name_result": {
      "script": {
        // 可以改为expression语言,区别是什么? 结果一样语法不一样
        "lang": "painless",
        // 查询时不用ctx对象了使用doc来获取
        "source": "doc['price'].value*1.1"
      }
    }
  }
}

更新语句

POST test_idx_aggs/_update/6
{
 "doc": {
   "price": 9999
 }
}

参数化查询

POST test_idx_aggs/_update/6
{
  "script": {
    "lang": "painless",
    //tag_new:下边参数名称
    "source": "ctx._source.tags.add(params.tag_new)",
    // 编译脚本,缓存到缓冲区,参数可以传递没有硬编码
    "params": {
      "tag_new": "new"
    }
  }
}

脚本模板

/_script/{script_template_id}

创建并使用脚本模板

DELETE _scripts/calculate_score
## calculate_score:模板id
POST _scripts/calculate_score
{
  "script": {
    "lang": "painless",
    // my_modifier:定义的参数名称
    "source": "Math.log(_score * 2) + params['my_modifier']"
  }
}

GET _scripts/calculate_score

## 索引名称
GET test_idx_aggs/_search
{
  "query": {
    "script_score": {
      "query": {
        "match_all": {}
      },
      "script": {
        "id": "calculate_score",
        "params": {
          "my_modifier": 2
        }
      }
    }
  }
}

函数式编程

POST test_idx_aggs/_update/1
{
  "script": {
    "lang": "painless",
    // 可以写复杂的脚本
    "source": """
    ctx._source.tags.add(params.param_name1);
    ctx._source.price -= 1;
    """,
    "params": {
      "param_name1": "new",
      "param_name2": 2
    }
  }
}

GET test_idx_aggs/_doc/1

POST test_idx_aggs/_update/1
{
  "script": {
    "lang": "painless",
    "source": """
    // 正则匹配然后 给name增加点内容; ==~表示匹配的意思; /[\s\S]*小米[\s\S]*/相当于 %小米%
        if(ctx._source.name ==~ /[\s\S]*小米[\s\S]*/) {
          ctx._source.name+="xxxxxxxxxxxxxx"
        }
        """
  }
}

GET test_idx_aggs/_doc/1

PUT test_index/_bulk?refresh 
{"index":{"_id":1}} 
{"ajbh": "12345","ajmc": "立案案件","lasj": "2020/05/21 13:25:23","jsbax_sjjh2_xz_ryjbxx_cleaning": [{"XM": "张三","NL": "30","SF": "男"},{"XM": "李四","NL": "31","SF": "男"},{"XM": "王五","NL": "30","SF": "女"},{"XM": "赵六","NL": "23","SF": "男"}]} 
{"index":{"_id":2}} 
{"ajbh": "563245","ajmc": "结案案件","lasj": "2020/05/21 13:25:23","jsbax_sjjh2_xz_ryjbxx_cleaning": [{"XM": "张三2","NL": "30","SF": "男"},{"XM": "李四2","NL": "31","SF": "男"},{"XM": "王五2","NL": "30","SF": "女"},{"XM": "赵六2","NL": "23","SF": "女"}]} 
{"index":{"_id":3}} 
{"ajbh": "12345","ajmc": "立案案件","lasj": "2020/05/21 13:25:23","jsbax_sjjh2_xz_ryjbxx_cleaning": [{"XM": "张三3","NL": "30","SF": "男"},{"XM": "李四3","NL": "31","SF": "男"},{"XM": "王五3","NL": "30","SF": "女"},{"XM": "赵六3","NL": "23","SF": "男"}]}


GET test_index/_search


GET test_index/_search
{
  "aggs": {
    "agg_NAME": {
      "sum": {
        "script": {
          "lang": "painless",
          "source": """
          int total = 0;
          for(int i = 0; i<params['_source']['jsbax_sjjh2_xz_ryjbxx_cleaning'].length; i++){
            if(params['_source']['jsbax_sjjh2_xz_ryjbxx_cleaning'][i]['SF']=='男'){
            total+=1;
            }
          }
          return total;
          """
        }
      }
    }
  }
}

doc和 _source访问属性区别

doc[<field>].value和params['_source'][<field>]

  • doc只适用简单类型，复杂类型会报错
  • doc会加载到内存，性能高,内存占用也高
  • 只有在非分析或单个词条的基础上有意义
  • _source方式每次都要解析比较慢
成知节
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticsearch: script查询的一些简单用法
qq_39198749的博客
05-23 2360
script字段值过滤 查询indexName索引中，name==‘测试’ && fieldName字段值的长度>2的文档 GET /indexName/_search { "query": { "bool": { "must": [ { "match_phrase": { "name": "测试" } }, { "script":
ElasticSearch的Script逻辑查询
qq_36245532的博客
07-06 4726
———————————————— 版权声明：本文为CSDN博主「CTO修炼手册」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/Prepared/article/details/102893852 在使用 ES 进行统计的时候，经常会用到查询某个小时的统计数据，比如统计每个小时的数据；比如计算早晚高峰的数据。 这些场景都可以使用 script 进行查询、统计。 ES 语句 { "query": { "boo
ECMAScript 详解
数字人生
05-27 1169
ECMAScript 标准定义了 JavaScript 语言的核心功能和语法，而 JavaScript 则是 ECMAScript 标准的具体实现之一。虽然 ECMAScript 是一个标准规范，JavaScript 则是其最著名的实现，但请注意，JavaScript 实际上包含了更多由浏览器或其他宿主环境提供的额外功能，如DOM操作、BOM（浏览器对象模型）等，这些并不属于 ECMAScript 标准。TC39 是 Ecma 国际中的一个技术委员会，负责推动 ECMAScript 标准的发展。
es-07脚本查询
zql1455890112的博客
02-24 769
脚本查询
es脚本(script)的简单使用
weixin_50418464的博客
09-04 4339
elasticsearch7.x中painless脚本的简单使用
Elasticsearch groovy脚本的使用
春水初生，春林初盛，春风十里，不如随笔
12-29 541
es有个内置的脚本支持的，可以基于groovy脚本实现各种各样的复杂操作 1、添加数据 PUT /test_index/test_type/11 { "num": 0, "tags": [] } 2、内置脚本 将字段num的值增加1 POST /test_index/test_type/11/_update { "script" : "ctx._source.num+=1" } 3、外部脚本 使用外部脚本 文件名test-add-tags 内容ctx._source.tags
elasticsearch脚本查询
weixin_41063119的博客
11-01 74
早先某些版本正则表达式默认情况下处于禁用模式，因为它绕过了painless的针对长时间运行和占用内存脚本的保护机制。而且有深度对战行为。如果需要开启正则，需要配置：script.painless.regex.enabled: true注意：通常正则的使用范围比较小，应用范围基本限制在数据量比较小和并发量比较小的应用场景下。
Elasticsearch 开机自启脚本
10-14
`start` 用于启动Elasticsearch，这里使用 `su` 命令切换到指定的Elasticsearch用户（例如 `es-admin`），然后进入Elasticsearch的安装目录并执行 `bin/elasticsearch` 文件以后台模式启动服务。`stop` 通过查找并杀...
elasticsearch常用命令脚本
11-26
后端工程师开发时经常需要操作es，要是每次都去找相关命令就太麻烦了。这里提供了常用的es操作脚本，比如删除单个索引、删除多个索引、创建索引、查看全部索引、查看粉刺等等，以及深分页查询脚本
elasticsearch-7.7(内含一键安装脚本)
07-18
内含的一键安装脚本 `installES.sh` 是为了简化 Elasticsearch 的部署过程，使得用户能够在Linux环境中快速便捷地安装和配置 Elasticsearch 7.7.0。通常，这个脚本会包含以下步骤： 1. **环境检查**：检查操作系统...
Oracle数据批量导入elasticsearch脚本
12-31
Linux环境下使用sqlplus工具将oracle中的数据导入到elasticsearch中。只需要在es_bulk_tool.properties配置sql即可实现数据的批量导入。在elasticsearch6中测试通过。shell脚本需要使用sqlplus。
elasticsearch脚本实现先聚合后过滤
03-02
elasticsearch脚本实现先聚合，然后使用聚合的值进行后过滤
一键部署elasticsearch集群/单机版shell脚本(适用于Centos7 x86服务器)
04-21
该安装包实现利用给定参数安装单机版或者集群版es数据库，指定参数后安装过程全自动，自动修改系统内核，配置jdk，自动识别并配置内存，自动根据节点数配置集群脑溢节点配置数。涉及到以下操作 1、自动检测配置java...
Elastic Search高级操作(脚本操作&&JAVA操作)
weixin_43949154的博客
04-03 3026
Elastic Search高级操作 小编在这里先介绍一下，Elastic Search高级操作分为：批量操作、导入数据、ES的各种那个查询、索引别名和重建索引，下面的各种操作小编都会介绍两种操作方式，里面有的可能会介绍不对，请各位及时在评论区提出意见，这也是小编的学习笔记，拿出来与各位分享，话不多说，开始正式的内容 批量操作 批量操作-脚本 Json必须一行，换行不支持操作。 操作，每个成功与否不会干预其他，都会执行。看status码 批量操作-JAVA 导入数据 首先先看下goods
ElasticSearch 常用查询语句
Licker的博客
10-24 712
# 查看指定index、type和id的文档,返回结构如下，found字段表示是否找到对应的文档 curl -XGET http://localhost:9200/_index/_type/_id?pretty # 返回 { "_index": "_index", "_type": "_type", "_id": "_id", "_version": 1, "found"...
Elasticsearch的多种查询方式
热门推荐
sunnyday0426的博客
07-03 1万+
Elasticsearch支持多种查询方式，包括：match查询、term查询、bool查询、range查询、prefix查询、wildcard查询、regexp查询等。这些查询方式可以组合使用，以实现复杂的搜索需求。
ElasticSearch 实战：ES的脚本使用实践
qq_33240556的博客
03-29 379
在Elasticsearch中，脚本功能允许用户在查询、聚合、更新文档时执行自定义的脚本逻辑。脚本可以用多种语言编写，包括Painless（默认脚本语言）、Groovy（在Elasticsearch 7.x之后已弃用）、JavaScript、Python等。
ElasticSearch高级 （Query DSL查询 bulk批量操作 导入数据 各种查询 实战技巧-优化比重 全量与增量数据同步）
m0_46690280的博客
09-25 4035
ElasticSearch高级01-今日内容02-ElasticSearch高级操作2.1-bulk批量操作-脚本2.2-bulk批量操作-JavaAPI2.3-导入数据-分析&创建索引2.4-导入数据-代码实现3-ElasticSearch查询3.1-matchAll-脚本3.2-matchAll-JavaAPI3.3-termQuery3.4-matchQuery3.5-模糊查询-脚本3.5.1-wildcard查询3.5.2正则查询3.5.3前缀查询3.6-模糊查询-JavaAPI3.7-范围
运行elasticsearch脚本
最新发布
06-04
要运行 Elasticsearch 脚本，您需要首先下载并安装 Elasticsearch。然后，您可以使用 Elasticsearch 的 RESTful API 或者客户端库来与 Elasticsearch 进行交互。 以下是一些常用的 Elasticsearch 脚本： 1. 启动 Elasticsearch：运行 bin/elasticsearch 脚本即可启动 Elasticsearch。默认情况下，Elasticsearch 会在本地主机上的 9200 端口上运行。 2. 创建索引：要创建一个新的索引，您可以使用 PUT 请求将 JSON 数据发送到 Elasticsearch 的 /{index-name} 路径。例如，要在名为 my_index 的索引中创建一个新的文档，请使用以下命令： ``` curl -XPUT 'http://localhost:9200/my_index/_doc/1' -H 'Content-Type: application/json' -d '{ "title": "My Document Title", "content": "My Document Content" }' ``` 3. 搜索文档：要搜索 Elasticsearch 索引中的文档，请使用 GET 请求发送查询字符串到 /{index-name}/_search 路径。例如，要搜索 my_index 索引中所有包含单词 "document" 的文档，请使用以下命令： ``` curl -XGET 'http://localhost:9200/my_index/_search?q=document' ``` 4. 删除索引：要删除整个 Elasticsearch 索引，请使用 DELETE 请求将索引名称发送到 /{index-name} 路径。例如，要删除 my_index 索引，请使用以下命令： ``` curl -XDELETE 'http://localhost:9200/my_index' ``` 希望这些信息可以帮助您开始运行 Elasticsearch 脚本。如果您还有其他问题，请随时提出。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值