ElasticSearch检索你的数据(六）

最新推荐文章于 2023-01-28 16:02:15 发布
最新推荐文章于 2023-01-28 16:02:15 发布
阅读量219 收藏
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Suubyy/article/details/118526872
版权

文章目录

ElasticSearch检索你的数据(六）

搜索模板

搜索模板存储了运行不同变量的查询模板。如果你使用ElasticSearch作为查询后端，你可以将来自搜索栏的用户输入传递给搜索模板的变量参数。这可以让你在不公开ElasticSearch查询语法的情况下来运行查询。

如果自定义的应用使用了ElasticSearch，那么查询模板可以在不修改你应用代码的情况下修改ElasticSearch的搜索。

创建一个搜索模板

对于创建和修改搜索模板，你可以使用create stored script API。

请求的source支持与搜索API的请求体一样的参数。source也支持Mustache变量，通常用两个大括号括起来：{{my-var}}。当你运行模板搜索的时候，ElasticSearch会用param的值替换这个变量。

搜索模板必须使用一个 "lang":"mustache"。

以下请求创建一个id为my-search-template的搜索模板。

curl -X PUT "localhost:9200/_scripts/my-search-template?pretty" -H 'Content-Type: application/json' -d'
{
  "script": {
    "lang": "mustache",
    "source": {
      "query": {
        "match": {
          "message": "{{query_string}}"
        }
      },
      "from": "{{from}}",
      "size": "{{size}}"
    },
    "params": {
      "query_string": "My query string"
    }
  }
}
'

Elasticsearch 将搜索模板存储为集群状态下的 Mustache 脚本。 Elasticsearch 在模板脚本上下文中编译搜索模板。限制或禁用脚本的设置也会影响搜索模板。

验证一个搜索模板

使用render search template API利用不同的param测试搜索模板

curl -X POST "localhost:9200/_render/template?pretty" -H 'Content-Type: application/json' -d'
{
  "id": "my-search-template",
  "params": {
    "query_string": "hello world",
    "from": 20,
    "size": 10
  }
}
'

当参数被渲染的时候，模板会输出搜索请求体。

{
  "template_output": {
    "query": {
      "match": {
        "message": "hello world"
      }
    },
    "from": "20",
    "size": "10"
  }
}

您还可以使用 API 来测试内联模板。

curl -X POST "localhost:9200/_render/template?pretty" -H 'Content-Type: application/json' -d'
{
    "source": {
      "query": {
        "match": {
          "message": "{{query_string}}"
        }
      },
      "from": "{{from}}",
      "size": "{{size}}"
    },
  "params": {
    "query_string": "hello world",
    "from": 20,
    "size": 10
  }
}
'

运行一个模板搜索

使用search template API来运行一个使用搜索模板的搜索。你可以为每个请求指定不同的param。

curl -X GET "localhost:9200/my-index/_search/template?pretty" -H 'Content-Type: application/json' -d'
{
  "id": "my-search-template",
  "params": {
    "query_string": "hello world",
    "from": 0,
    "size": 10
  }
}
'

响应使用与search API 响应一样的属性。

{
  "took": 36,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    },
    "max_score": 0.5753642,
    "hits": [
      {
        "_index": "my-index",
        "_type": "_doc",
        "_id": "1",
        "_score": 0.5753642,
        "_source": {
          "message": "hello world"
        }
      }
    ]
  }
}

运行多个模板搜索

使用multi search template API在一个单独的请求中运行多个模板搜索。与多个单独搜索相比，这些请求的开销通常更少，速度更快。

curl -X GET "localhost:9200/my-index/_msearch/template?pretty" -H 'Content-Type: application/json' -d'
{ }
{ "id": "my-search-template", "params": { "query_string": "hello world", "from": 0, "size": 10 }}
{ }
{ "id": "my-other-search-template", "params": { "query_type": "match_all" }}
'

获取一个搜索模板

使用get stored script API获取一个搜索模板。

curl -X GET "localhost:9200/_scripts/my-search-template?pretty"

使用cluster state API获取搜索模板列表和其他的脚本。

curl -X GET "localhost:9200/_cluster/state/metadata?pretty&filter_path=metadata.stored_scripts&pretty"

删除搜索模板

使用delete stored script API删除一个搜索模板。

curl -X DELETE "localhost:9200/_scripts/my-search-template?pretty"

设置默认值

根据以下语法为变量设置默认值。

{{my-var}}{{^my-var}}default value{{/my-var}}

如果搜索模板未在其参数中指定值，则搜索将使用默认值。例如，以下模板设置了 from 和 size 的默认值。

curl -X POST "localhost:9200/_render/template?pretty" -H 'Content-Type: application/json' -d'
{
  "source": {
    "query": {
      "match": {
        "message": "{{query_string}}"
      }
    },
    "from": "{{from}}{{^from}}0{{/from}}",
    "size": "{{size}}{{^size}}10{{/size}}"
  },
  "params": {
    "query_string": "hello world"
  }
}
'

URL编码字符串

使用 {{#url}} 函数 对URL 进行字符串编码。

curl -X POST "localhost:9200/_render/template?pretty" -H 'Content-Type: application/json' -d'
{
  "source": {
    "query": {
      "term": {
        "url.full": "{{#url}}{{host}}/{{page}}{{/url}}"
      }
    }
  },
  "params": {
    "host": "http://example.com",
    "page": "hello-world"
  }
}
'

模板呈现为：

{
  "template_output": {
    "query": {
      "term": {
        "url.full": "http%3A%2F%2Fexample.com%2Fhello-world"
      }
    }
  }
}

连接值

使用 {{#join}} 函数将数组值连接为逗号分隔的字符串。例如，以下模板连接两个电子邮件地址。

curl -X POST "localhost:9200/_render/template?pretty" -H 'Content-Type: application/json' -d'
{
  "source": {
    "query": {
      "match": {
        "user.group.emails": "{{#join}}emails{{/join}}"
      }
    }
  },
  "params": {
    "emails": [ "user1@example.com", "user_one@example.com" ]
  }
}
'

模板呈现为：

{
  "template_output": {
    "query": {
      "match": {
        "user.group.emails": "user1@example.com,user_one@example.com"
      }
    }
  }
}

您还可以指定自定义分隔符。

curl -X POST "localhost:9200/_render/template?pretty" -H 'Content-Type: application/json' -d'
{
  "source": {
    "query": {
      "range": {
        "user.effective.date": {
          "gte": "{{date.min}}",
          "lte": "{{date.max}}",
          "format": "{{#join delimiter=\u0027||\u0027}}date.formats{{/join delimiter=\u0027||\u0027}}"
	      }
      }
    }
  },
  "params": {
    "date": {
      "min": "2098",
      "max": "06/05/2099",
      "formats": ["dd/MM/yyyy", "yyyy"]
    }
  }
}
'

模板呈现为：

{
  "template_output": {
    "query": {
      "range": {
        "user.effective.date": {
          "gte": "2098",
          "lte": "06/05/2099",
          "format": "dd/MM/yyyy||yyyy"
        }
      }
    }
  }

转换JSON

使用 {{#toJson}} 函数将变量值转换为其 JSON 表示。

例如，以下模板使用 {{#toJson}} 传递数组。为确保请求正文是有效的 JSON，source以字符串格式编写。

curl -X POST "localhost:9200/_render/template?pretty" -H 'Content-Type: application/json' -d'
{
  "source": "{ \"query\": { \"terms\": { \"tags\": {{#toJson}}tags{{/toJson}} }}}",
  "params": {
    "tags": [
      "prod",
      "es01"
    ]
  }
}
'

模板呈现为：

{
  "template_output": {
    "query": {
      "terms": {
        "tags": [
          "prod",
          "es01"
        ]
      }
    }
  }
}

您还可以使用 {{#toJson}} 来传递对象。

curl -X POST "localhost:9200/_render/template?pretty" -H 'Content-Type: application/json' -d'
{
  "source": "{ \"query\": {{#toJson}}my_query{{/toJson}} }",
  "params": {
    "my_query": {
      "match_all": { }
    }
  }
}
'

模板呈现为：

{
  "template_output" : {
    "query" : {
      "match_all" : { }
    }
  }
}

您还可以传递对象数组。

curl -X POST "localhost:9200/_render/template?pretty" -H 'Content-Type: application/json' -d'
{
  "source": "{ \"query\": { \"bool\": { \"must\": {{#toJson}}clauses{{/toJson}} }}}",
  "params": {
    "clauses": [
      {
        "term": {
          "user.id": "kimchy"
        }
      },
      {
        "term": {
          "url.domain": "example.com"
        }
      }
    ]
  }
}
'

模板呈现为：

{
  "template_output": {
    "query": {
      "bool": {
        "must": [
          {
            "term": {
              "user.id": "kimchy"
            }
          },
          {
            "term": {
              "url.domain": "example.com"
            }
          }
        ]
      }
    }
  }
}

使用条件

要创建 if 条件，请使用以下语法：

{{#condition}}content{{/condition}}

如果条件变量为真，Elasticsearch 会显示其内容。例如，如果 year_scope 为真，以下模板将搜索过去一年的数据。

curl -X POST "localhost:9200/_render/template?pretty" -H 'Content-Type: application/json' -d'
{
  "source": "{ \"query\": { \"bool\": { \"filter\": [ {{#year_scope}} { \"range\": { \"@timestamp\": { \"gte\": \"now-1y/d\", \"lt\": \"now/d\" } } }, {{/year_scope}} { \"term\": { \"user.id\": \"{{user_id}}\" }}]}}}",
  "params": {
    "year_scope": true,
    "user_id": "kimchy"
  }
}
'

模板呈现为：

{
  "template_output" : {
    "query" : {
      "bool" : {
        "filter" : [
          {
            "range" : {
              "@timestamp" : {
                "gte" : "now-1y/d",
                "lt" : "now/d"
              }
            }
          },
          {
            "term" : {
              "user.id" : "kimchy"
            }
          }
        ]
      }
    }
  }
}

如果 year_scope 为 false，则模板搜索任何时间段的数据。

curl -X POST "localhost:9200/_render/template?pretty" -H 'Content-Type: application/json' -d'
{
  "source": "{ \"query\": { \"bool\": { \"filter\": [ {{#year_scope}} { \"range\": { \"@timestamp\": { \"gte\": \"now-1y/d\", \"lt\": \"now/d\" } } }, {{/year_scope}} { \"term\": { \"user.id\": \"{{user_id}}\" }}]}}}",
  "params": {
    "year_scope": false,
    "user_id": "kimchy"
  }
}
'

模板呈现为：

{
  "template_output" : {
    "query" : {
      "bool" : {
        "filter" : [
          {
            "term" : {
              "user.id" : "kimchy"
            }
          }
        ]
      }
    }
  }
}

要创建 if-else 条件，请使用以下语法：

{{#condition}}if content{{/condition}} {{^condition}}else content{{/condition}}

例如，如果 year_scope 为真，以下模板将搜索过去一年的数据。否则，它将搜索过去一天的数据。

curl -X POST "localhost:9200/_render/template?pretty" -H 'Content-Type: application/json' -d'
{
  "source": "{ \"query\": { \"bool\": { \"filter\": [ { \"range\": { \"@timestamp\": { \"gte\": {{#year_scope}} \"now-1y/d\" {{/year_scope}} {{^year_scope}} \"now-1d/d\" {{/year_scope}} , \"lt\": \"now/d\" }}}, { \"term\": { \"user.id\": \"{{user_id}}\" }}]}}}",
  "params": {
    "year_scope": true,
    "user_id": "kimchy"
  }
}
'
666呀
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
springboot+es实现对word，pdf，txt等文件的非结构化数据全文内容检索
06-11
在`es服务配置非数据性结构.txt`中，可能包含了Elasticsearch集群的配置细节，如节点设置、索引模板、映射配置等。而`sprintboot-elasticsearch`可能是Spring Boot项目中的相关代码示例，包含了上述步骤的实现。 总...
实战中关于elasticsearch中的查询方法--高级查询
m0_48444702的博客
06-13 4022
因为最近要从elasticsearch中获取数据给前端展示，然后自己摸索到了一些查询方法，记录一下，以防忘记只展示业务层的代码逻辑： 搜索条件方法： 分页和排序的方法： 这就是普通的查询办法。 例如要对整个elastcsearch中的数据进行统计分组和巧合的时候，上述的方法就不能满足要求了。例如要算出以下这种数据 第一列是求出最高级别，第二列是算出数量，第三和第四列是算出不同级别的数量。 为了应对这种需求，所以新的方法：因为用的多线程是线程池，所以要自己格外配置线程池。 三、批量修改....
elasticsearch 中几种判断条件
helun2008的专栏
05-21 3513
DateTimeFormatter dateTimeFormatter = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss"); if (rule.getOperator().equals(MatchType.equal.name())) { if (rule.getType().equals("int")) { boolQueryBuilder.must(QueryBuilders..
Elasticsearch 常用语法
cangyuemis的博客
02-22 268
一、创建索引 #创建索引，默认设置 PUT /index #查看索引 GET /index/_settings #查看所有索引 GET _all/_settings 二、新增文档 #指定ID添加文档 PUT /index/_doc/1 { "name":"沧月", "age":23, "sex":"男" } #不指定ID添加文档 POST /lib/user { "name":"南风", "age":23, "sex":"男" } 三、删除更新文档 #更新文档，直接覆盖 .
elasticsearch判断参数是否为空，执行多条件查询，并分页
qq_41571395的博客
06-08 2009
这次使用elasticsearch 需要判断前端是否传了参数，如果传了就添加这个查询条件，没传的话，就不要这个查询条件，获得查询结果并分页 代码如下 public IMoocJSONResult searchComp(String ulanguage,String ucompname, String utype, String uareaid,Integer pageNo, Integer pageSize){ // 构建查询条件 NativeSearchQueryBuil
ElasticSearch索引模板（template）操作：创建、查询、修改、删除
учёба
01-17 1万+
官方文档链接：https://www.elastic.co/guide/en/elasticsearch/reference/6.6/indices-templates.html 一：概述 可以按下面几种方式理解索引模板： 避免每次在创建索引库的时候，都需要手工指定每个索引库的配置信息；索引可以使用索引模板（index template）进行创建，在新建索引时需要进行模板设置包括settings和mappings，通过模式匹配可使多个索引重复使用一个模板。 将已经创建好的某个索引的参数设置(sett
Elasticsearch亿级数据检索性能优化案例实战！
01-27
【Elasticsearch亿级数据检索性能优化案例实战】 在数据量巨大的业务环境中，Elasticsearch作为流行的全文搜索引擎，面临着如何高效处理亿级数据检索的挑战。本文将分享一个实际案例，探讨如何对Elasticsearch进行...
java api 检索elasticsearch数据
07-28
3. **Java API检索数据** - 配置TransportClient：首先，你需要配置TransportClient，指定集群的节点地址。例如： ```java Settings settings = Settings.builder().put("cluster.name", "your-cluster-name")....
ElasticSearch 唐诗宋词 30万+数据
最新发布
11-04
**Elasticsearch（ES）是当今最流行的全文搜索引擎之一，尤其在大数据分析和实时搜索领域应用广泛。本文将深入探讨如何使用Elasticsearch处理唐诗宋词30万+的数据集，包括数据结构映射（mapping）、数据导入以及索引...
Elasticsearch 索引模板
talen_hx的博客
01-28 1220
Elasticsearch 索引模板
05.multi_search_template
寒夜
10-22 155
文章目录 multi search template API允许使用_msearch/template在同一API中执行多个search template请求。 格式一般是 header\n body\n header\n body\n header 部分可以有 index, search_type, preference, and routing body 是一个search_template请求，可以使用inline template，也可以使用stored的template $ cat reque
Elasticsearch教程(27) ES拼接查询条件的工具类
Java Spring Elasticsearch
12-29 5136
ES拼接查询条件的工具类一、前言二、工具类三、测试四、总结 一、前言 在大多数公司产线Elasticsearch还在6.X的时候，ES已经更新到7.10.1了，这更新速度。 目前我手上的项目也做到一套工具类兼容ES6.1到ES7.9+。我用的是原生的ES6.8.12的Java API来实现的工具类。目前功能上线几个月没有出过错。 工作中用ES查询大于插入，所以代码里到处都是拼接ES查询条件的语句，ES本身的Java API已经很强大了，我们利用BoolQueryBuilder和QueryBuilders可以
Elasticsearch Index Templates(索引模板)
中间件兴趣圈
05-04 8204
索引模板，故名思议，就是创建索引的模板，模板中包含公共的配置(settings)和映射(Mapping)，并包含一个简单触发条件，及条件满足时使用该模板创建一个新的索引。 注意：模板只在创建索引时应用。更改模板不会对现有索引产生影响。当使用create index API时，作为create index调用的一部分定义的设置/映射将优先于模板中定义的任何匹配设置/映射。 一个索引模板示例如下： P...
Elasticsearch 查询in 和 not in 的实现方式
Thancks
11-30 5万+
最近用到ES查询，因用的是Java写的，需要实现一个需求： 过滤一部分id， 查询时不需要查出来。 既然需要不包含，那么首先需要实现包含的方式（精确完全匹配），这里我们要用到的是termQuery首先看下ES Bool联合查询的属性：bool联合查询: must,should,must_not联合查询就会使用到must,should,must_not三种关键词。这三个可以这么理解must: 文档必
elasticsearch多条件查询
lizheng520lp的博客
01-12 1330
废话不多说，直接上代码 本人使用的 RestHighLevelClient。 SearchRequest searchRequest = new SearchRequest(index).types(type); //使用默认选项创建 SearchSourceBuilder   SearchSourceBuilder sourceBuilder = new SearchSourceBuil...
ElasticSearch 批量条件查询
禅鸣之时
01-20 7605
  编写不易，转载请注明（http://shihlei.iteye.com/blog/2408238）！   一 概述 ElasticSearch 批量条件查询方法Demo。 使用《ElasticSearch2.4.0基于Java API或Java Rest API进行CRUD 》的索引库结构开发Demo.   客户端版本：版本较低，见谅 <dependen...
ElasticSearch多条件查询
weixin_34044273的博客
05-22 780
2019独角兽企业重金招聘Python工程师标准>>> ...
elasticsearch的基础查询操作
云泽的博客
02-06 2549
目录es的基础操作1. 创建es_db索引，并将该索引的默认分词方法设置为ik_max_word2. 针对索引的基本操作3. 添加文档4. 查询文档的基础操作5. 根据多个文档id进行批量查询DSL语言高级查询1. 根据某一字段进行精确查询，term查询不会对字段进行分词查询，会采用精确匹配2. ik分词测试3. 根据备注信息模糊查询 match, match会根据该字段的分词器，进行分词查询4. 多字段模糊匹配查询与精准查询 multi_match5. 范围查询6. 分页、输出字段、排序综合查询7. Fi
ElasticSearch基本查询(Query查询)
热门推荐
周天祥的博客
04-04 7万+
ElasticSearch基本查询(Query查询) 1、数据准备 2、term查询和terms查询 3、控制查询返回的数量 4、返回版本号 5、match查询 6、指定返回的字段、显示字段 7、显示要的字段、去除不需要的字段 8、排序 9、范围查询 10、wildcard查询 11、fuzzy实现模糊查询 12、高亮搜索结果 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能...
ElasticSearch实战：全文检索与倒排索引解析
"这篇资源详细介绍了如何使用ElasticSearch实现全文检索，涵盖了从安装配置、索引数据、执行搜索到结果展示的全过程。同时，解释了全文搜索的原理，包括顺序扫描和倒排索引的概念，以及ElasticSearch中的基本概念如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值