Elasticsearch初识之脚本查询附加示例代码（script）

已于 2024-01-11 17:55:11 修改
阅读量706 收藏 6
点赞数 9
分类专栏： Elasticsearch 文章标签： elasticsearch 搜索引擎
于 2024-01-05 17:04:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hcj_ER/article/details/135413958
版权

概念

Scripting是Elasticsearch支持的一种专门用于复杂场景下支持自定义编程的强大的脚本功能，ES支持多种脚本语言，如painless，其语法类似于Java,也有注释、关键字、类型、变量、函数等，其就要相对于其他脚本高出几倍的性能，并且安全可靠，可以用于内联和存储脚本。

支持的语言

  1. groovy：ES 1.4.x-5.0的默认脚本语言

  2. painless：JavaEE使用java语言开发，.Net使用C#/F#语言开发，Flutter使用Dart语言开发，同样，ES 5.0+版本后的Scripting使用的语言默认就是painless，painless是一种专门用于Elasticsearch的简单,用于内联和存储脚本，是ES 5.0+的默认脚本语言，类似于Java,也有注释、关键字、类型、变量、函数等，是一种安全的脚本语言。并且是Elasticsearch的默认脚本语言。

  3. 其他：

    expression：每个文档的开销较低：表达式的作用更多，可以非常快速地执行，甚至比编写native脚本还要快，支持javascript语法的子集：单个表达式。缺点：只能访问数字，布尔值，日期和geo_point字段，存储的字段不可用

    mustache：提供模板参数化查询

特点

  1. 语法简单，学习成本低

  2. 灵活度高，可编程能力强

  3. 性能相较于其他脚本语言很高

  4. 安全性好

  5. 独立语言，虽然易学但仍需单独学习

  6. 相较于DSL性能低

  7. 不适用于复杂的业务场景

应用场景

各种复杂的应用场景，如自定义评分、自定义聚合查询等。

正则:

早先某些版本正则表达式默认情况下处于禁用模式，因为它绕过了painless的针对长时间运行和占用内存脚本的保护机制。而且有深度对战行为。如果需要开启正则，需要配置：script.painless.regex.enabled: true

注意：通常正则的使用范围比较小，应用范围基本限制在数据量比较小和并发量比较小的应用场景下。

doc['field'].value和params['_source']['field']：

理解之间的区别是很重要的，doc['field'].value和params['_source']['field']。首先，使用doc关键字，将导致该字段的条件被加载到内存（缓存），这将导致更快的执行，但更多的内存消耗。此外，doc[...]符号只允许简单类型（不能返回一个复杂类型(JSON对象或者nested类型)），只有在非分析或单个词条的基础上有意义。但是，doc如果可能，使用仍然是从文档访问值的推荐方式，因为_source每次使用时都必须加载并解析。使用_source非常缓慢###

代码示例

POST product/_update/2
{
  "script": {
    "source": "ctx._source.price-=1"
  }
}
POST product/_update/2
{
  "script": {
    "source": "ctx._source.price-=ctx._version"
  }
}
#简写
POST product/_update/2
{
  "script": "ctx._source.price-=1"
}
​
# Scripting的CRUD
POST _reindex
{
  "source": {
    "index": "product"
  },
  "dest": {
    "index": "product2"
  }
}
​
# 举个例子：华为出了新款 新增了tag 叫做“遥遥领先”
POST product/_update/6
{
  "script": {
    "lang": "painless",
    "source": "ctx._source.tags.add('遥遥领先')"
  }
}
#upsert update + insert 
POST product/_update/3
{
  "script": {
    "lang": "painless",
    "source": "ctx._source.price += 100"
  },
  "upsert": {
    "name" : "huaweimate60",
    "desc" : "yyds",
    "price" : 1999
  }
}
​
#GET查询 painless expression 应用于促销打折计算
GET product/_search
{
  "script_fields": {
    "my_price": {
      "script": {
        "lang": "expression",
        "source": "doc['price'].value* 0.9"
      }
    }
  }
}
GET product/_search
{
  "script_fields": {
    "my_price": {
      "script": {
        "lang": "painless",
        "source": "doc['price'].value* 0.9"
      }
    }
  }
}
#参数化
POST product/_update/2
{
  "script": {
    "lang": "painless",
    "source": "ctx._source.tags.add(params.tag_name)",
    "params": {
      "tag_name":"无线秒充"
    }
  }
}
​
GET product/_search
{
  "script_fields": {
    "my_price": {
      "script": {
        "lang": "painless",
        "source": "doc['price'].value* params.num",
        "params": {
          "num": 9 
        }
      }
    }
  }
}
#多个折扣
GET product/_search
{
  "script_fields": {
    "price": {
      "script": {
        "lang": "painless",
        "source": "doc['price'].value"
      }
    },
    "discount_price": {
      "script": {
        "lang": "painless",
        "source": "[doc['price'].value* params.discount_8,doc['price'].value* params.discount_7,doc['price'].value* params.discount_6,doc['price'].value* params.discount_5]",
        "params": {
          "discount_8": 0.8,
          "discount_7": 0.7,
          "discount_6": 0.6,
          "discount_5": 0.5
        }
      }
    }
  }
}
​
# Stored scripts   scripts模板
# /_scripts/{id}
POST _scripts/calculate_discount
{
  "script": {
    "lang": "painless",
    "source": "doc.price.value * params.discount"
  }
}
#查看
GET _scripts/calculate_discount
GET product/_search
{
  "script_fields": {
    "price": {
      "script": {
        "lang": "painless",
        "source": "doc['price'].value"
      }
    },
    "discount_fields": {
      "script": {
        "id": "calculate_discount",
        "params": {
          "discount":0.8
        }
      }
    }
  }
}
​
#Scripting的函数式编程
GET product/_search
GET product/_doc/1
POST product/_update/1
{
  "script": {
    "lang": "painless",
    "source": "ctx._source.tags.add(params.tag_name)",
    "params": {
      "tag_name":"无线秒充"
    }
  }
}
​
POST product/_update/1
{
  "script": {
    "lang": "painless",
    "source": """
      ctx._source.tags.add(params.tag_name);
      ctx._source.price-=100;
    """,
    "params": {
      "tag_name":"无线秒充1"
    }
  }
}
​
#正则like %小米% /[\s\S]*小米[\s\S]*/
POST product/_update/3
{
  "script": {
    "lang": "painless",
    "source": """
      if(ctx._source.name ==~ /[\s\S]*小米[\s\S]*/) {
        ctx._source.name+="***|"
      }else{
        ctx.op="noop"
      }
    """
  }
}
#/\d{4}-\d{2}-\d{2}[\s\S]*/
GET product/_doc/1
POST product/_update/1
{
  "script": {
    "lang": "painless",
    "source": """
      if(ctx._source.createtime ==~ /\d{4}-\d{2}-\d{2}[\s\S]*/) {
        ctx._source.name+="|***"
      }else{
        ctx.op="noop"
      }
    """
  }
}
#统计所有价格小于1000的商品的tag的数量 不考虑重复的情况
GET product/_search
{
  "query": {
    "constant_score": {
      "filter": {
        "range": {
          "price": {
            "lte": 1000
          }
        }
      }
    }
  },
  "aggs": {
    "tag_agg": {
      "sum": {
        "script": {
          "lang": "painless",
          "source": """
            int total = 0;
            for(int i = 0; i <doc['tags.keyword'].length; i++){
              total++;
            }
            return total;
          """
        }
      }
    }
  }
}
​
# 对于一些早期版本 script.painless.regex.enabled: true
# doc['field'].value 和 params['_source']['field']
​
#批量新增
PUT test_index/_bulk?refresh
{"index":{"_id":1}}
{"ajbh": "12345","ajmc": "立案案件","lasj": "2020/05/21 13:25:23","jsbax_sjjh2_xz_ryjbxx_cleaning": [{"XM": "张三","NL": "30","SF": "男"},{"XM": "李四","NL": "31","SF": "男"},{"XM": "王五","NL": "30","SF": "女"},{"XM": "赵六","NL": 23,"SF": "男"}]}
{"index":{"_id":2}}
{"ajbh": "563245","ajmc": "结案案件","lasj": "2020/05/21 13:25:23","jsbax_sjjh2_xz_ryjbxx_cleaning": [{"XM": "张三2","NL": "30","SF": "男"},{"XM": "李四2","NL": "31","SF": "男"},{"XM": "王五2","NL": "30","SF": "女"},{"XM": "赵六2","NL": "23","SF": "女"}]}
{"index":{"_id":3}}
{"ajbh": "12345","ajmc": "立案案件","lasj": "2020/05/21 13:25:23","jsbax_sjjh2_xz_ryjbxx_cleaning": [{"XM": "张三3","NL": "30","SF": "男"},{"XM": "李四3","NL": "31","SF": "男"},{"XM": "王五3","NL": "30","SF": "女"},{"XM": "赵六3","NL": "23","SF": "男"}]}
​
#统计男性嫌疑人的数量
GET test_index/_search
GET product/_search
#Object Nested
GET /test_index/_search
{
  "aggs": {
    "sum_person": {
      "sum": {
        "script": {
          "lang": "painless",
          "source": """
            int total = 0;
            for(int i = 0;i< params['_source']['jsbax_sjjh2_xz_ryjbxx_cleaning'].length;i++){
              if(params['_source']['jsbax_sjjh2_xz_ryjbxx_cleaning'][i]['SF']=='男'){
                total+=1;
              }
            }
            return total;
          """
        }
      }
    }
  }
}
hcj_ER
关注
  • 9
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch script使用详解
qq_28834355的博客
10-13 2万+
文章目录概述script 格式使用script_score处理_score使用script_fields处理返回的字段值使用script作为过滤条件使用script进行聚合统计 概述 script作为elasticsearch的拓展功能，通过定制对应的表达式，可以帮助我们实现一些自定义的需求： 定义经过处理的字段作为返回值 定义查询得分的计算公式 定义特殊过滤条件，例如两个字段比较大小 定义特殊过滤条件 注意：script不能使用索引结构，因此会存在一定的性能问题。如果对查询的速度要求较高，建议在数据存
java使用es查询的示例代码
08-28
本篇文章主要介绍了java使用es查询的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Elasticsearch Scripts总结
蜗牛^_^的博客
07-28 8203
前言 scripts的语法： "script": { "lang": "...", "source" | "id": "...", "params": { ... } } 参数说明： lang:脚本使用的语言，默认是painless。 source：脚本的核心部分，id应用于：stored script。 params：传递给脚本使用的变量参数。 在学习scripts时，发现有许多场景使用，比如update、update-by-query、reindex等，...
ElasticSearch 实战：ES的脚本使用实践
最新发布
qq_33240556的博客
03-29 335
在Elasticsearch中，脚本功能允许用户在查询、聚合、更新文档时执行自定义的脚本逻辑。脚本可以用多种语言编写，包括Painless（默认脚本语言）、Groovy（在Elasticsearch 7.x之后已弃用）、JavaScript、Python等。
ElasticSearch之script语法使用
勤于笔记，成于点滴。
07-26 4491
script参数能够自由定义需要比较运算的字段
Elasticsearch学习--script
CelineT的博客
11-13 1907
doc['age'].value和doc['age']都能正确输出，doc['age'] * 0.9和doc['age'].value * 0.9也都不报错。，doc['age'].value和doc['age']都能正确输出，但是doc['age'] * 0.9报错。:会被加载到内存中，效率更高，更消耗内存，只允许简单类型，object和nested属于复杂类型。es源数据是map类型的，在取值的时候，要根据doc['x xx']取值。但是，painless，如果字段为空，*0.9会报错。
elasticsearch_script_01
寒夜
10-17 2670
文章目录1. script 简述1. script的类型和作用2. script使用的方式2. script的使用场景1. update scripts2. search 和agg 中使用script3. search中获取doc的打分数据3. script灵活使用的一些理解4. script的使用方式5. 样例1. 在search中使用 script_score功能2. 获取field的value，通过doc values3. 获取field value 通过_source字段4. 获取field val
深入了解 Elasticsearch 8.1 中的 Script 使用
醉鱼的博客
10-28 1909
如果我们还想操作当前解析的数据我们可以使用运行时字段，因为运行时字段不需要进行索引会更加的灵活，可以很方便的修改脚本及运行方式。所谓的解析字符串，只是一组固定格式的字符串，提前使用变量的形式编译，在插入文档时，通过脚本进行解析保存，方便后面的检索等请求。后面有机会会出现一片使用Java编译脚本的使用，等后面时间吧，最近这段时间听尴尬的，也托更很久了，以后慢慢的都要补上。上面我们是在检索请求中使用的脚本字段来使用的脚本，下面我们先内置一个脚本，通过使用。中，可以用于查询、聚合、脚本字段、脚本排序等各种用例。
sort-script:elasticsearch排序脚本
04-07
排序脚本 SortScript是ElasticSearch的本机插件，用于实现自定义排名算法。
elasticsearch常用命令脚本
11-26
后端工程师开发时经常需要操作es，要是每次都去找相关命令就太麻烦了。这里提供了常用的es操作脚本，比如删除单个索引、删除多个索引、创建索引、查看全部索引、查看粉刺等等，以及深分页查询脚本
ElasticSearch应用之Java示例源代码
05-16
本资源为一个使用Maven管理的ElasticSearch示例项目，项目中使用了Paoding分词器，项目开发过程可参见http://blog.csdn.net/geloin/article/details/8933825
Elasticsearch 开机自启脚本
10-14
Elasticsearch 开机自启脚本，方便用户自动启动Elasticsearch，也可以直接用systemctl启动或是关闭
Elasticsearch的script使用
热门推荐
蒜蓉粉丝蒸扇贝的专栏
04-25 2万+
从ES 1.4.3以后， inline script默认是被禁止的，但是可以使用file script的模式。{"query":{ "term": { "content": "中国" } }, "script_fields": { "test1": { "script": "doc['content']+
elasticsearch: script查询的一些简单用法
qq_39198749的博客
05-23 2282
script字段值过滤 查询indexName索引中，name==‘测试’ && fieldName字段值的长度>2的文档 GET /indexName/_search { "query": { "bool": { "must": [ { "match_phrase": { "name": "测试" } }, { "script":
Elasticsearch脚本查询
小獣专栏
07-05 1084
Elasticsearch脚本查询。
elasticsearch script实战
qq_19663899的博客
01-25 1万+
写在前面 大家在开发elasticsearch的时候都会遇到很多去怪的需求,如果我们已知的RestAPI无法帮助我们完成搜索,是就需要我们自己动手写脚本来辅助搜索,完成需求. 浅谈elasticsearch-script脚本使用机制 通过阅读官方文档我们可以了解到es所使用的脚本语言是painless这是一门安全-高效的脚本语言,基于jvm的,总而言之对于java语言的小伙伴来说是非常友好的. ...
ES-脚本查询
蓝天⊙白云的博客
03-17 1350
首先，使用doc关键字，将导致该字段的条件被加载到内存（缓存），这将导致更快的执行，但更多的内存消耗。（2）painless：JavaEE使用java语言开发，.Net使用C#/F#语言开发，Flutter使用Dart语言开发，同样，ES 5.0+版本后的Scripting使用的语言默认就是painless，painless是一种专门用于Elasticsearch的简单,用于内联和存储脚本，是ES 5.0+的默认脚本语言，类似于Java,也有注释、关键字、类型、变量、函数等，是一种安全的脚本语言。
Elasticsearch Scripting脚本使用总结
weixiaohuai的博客
05-18 3566
目录 一、概述 二、Scripting脚本使用 一、概述 Elasticsearch提供的增删改查相关API虽然能解决大部分业务场景的问题，但是在一些相对复杂的业务场景，使用增删改查不太好实现的时候，此时就需要借助Elasticsearch脚本进行实现，Elasticsearch脚本可以帮助我们解决复杂业务问题，如：自定义评分、自定义文本相关度、自定义过滤、自定义聚合分析等。 首先了解一下Scripting 使用语法： "script": { "lang": "...", //
elasticSearch中查询使用脚本(script),处理时区偏移量 日期区间 时间区间双重查询
weixin_43367053的博客
08-10 499
项目需求:使用es查询获取某个日期区间内每天早高峰的数据量，技术栈使用中的，其中时间参数在es存储的时候时区偏移了八个小时，另外说明：我使用的es版本为7.9的，不同版本在脚本中获取参数值有所不同，下面贴一下7.9版本的获取值的方式。
elasticsearch的script脚本中使用if排序
06-03
在Elasticsearch的Script脚本中使用if语句进行排序，可以使用Painless脚本语言来实现。以下是一个示例： ``` GET /my_index/_search { "query": { ... }, "sort": { "_script": { "type": "number", "script": { "lang": "painless", "source": "if (doc['my_field'].value > 0) { return doc['my_field'].value } else { return 0 }", }, "order": "desc" } } } ``` 在上面的示例中，我们使用_script排序来对文档进行排序。在排序脚本中，我们使用if语句来判断my_field字段的值是否大于0。如果是，我们返回my_field字段的值；如果不是，我们返回0。最后，我们按降序排列结果。 需要注意的是，使用if语句可能会影响查询性能，因此要谨慎使用。另外，Painless脚本语言有其自己的语法规则和限制，需要仔细阅读文档并进行测试。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值