【ElasticSearch】使用 _validate API 在不执行查询的情况下验证查询

在这里插入图片描述

1.概述

转载:使用 _validate API 在不执行查询的情况下验证查询

我们知道有的 Elasticsearch 的查询是非常耗时的。我们可以使用 _validate API 来对我们的 DSL 搜索进行一些验证。在很多的情况下,我们甚至可以使用这个 API 来验证不同的查询方法之间的区别或相同的地方。Elasticsearch 的 DSL 最终会转换为 Apache Lucene 的查询。今天,我将使用一个例子来展示这个 API 的用法。

首先,我们创建一个如下的索引及文档:

PUT my_index/_doc/1
{
  "content": "I like Elastic search because of its fast search speed, scalability and relevance"
}

我们创建了上述的一个索引叫做 my_index,并且含有一个文档。

我们可以针对这个文档进行如下的查询:

GET my_index/_search
{
  "query": {
    "match": {
      "content": {
        "query": "Elastic speed scalability relevance",
        "minimum_should_match": 2
      }
    }
  }
}

上面的查询返回的结果是:

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.1507283,
    "hits" : [
      {
        "_index" : "my_index",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.1507283,
        "_source" : {
          "content" : "I like Elastic search because of its fast search speed, scalability and relevance"
        }
      }
    ]
  }
}

上面的查询显示了一个分数为 1.15,并且我们查询的结果是文档含有 Elastic speed scalability relevance 这其中四个关键字中的任何两个。

在 Elasticsearch 中,我们也可以使用另外一种方法来进行查询:

GET my_index/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "content": "Elastic"
          }
        },
        {
          "match": {
            "content": "speed"
          }
        },
        {
          "match": {
            "content": "scalability"
          }
        },
        {
          "match": {
            "content": "relevance"
          }
        }
      ],
      "minimum_should_match": 2
    }
  }
}

上面的查询返回的结果是:

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.1507283,
    "hits" : [
      {
        "_index" : "my_index",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.1507283,
        "_source" : {
          "content" : "I like Elastic search because of its fast search speed, scalability and relevance"
        }
      }
    ]
  }
}

我们发现这两种方法查询的结果是完全一样的,而且它们的得分也是一样的。都是 1.15,那这两种方法到底是一样的吗?

我们可以通过 _validate API 接口来进行比较:

GET my_index/_validate/query?rewrite=true
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "content": "Elastic"
          }
        },
        {
          "match": {
            "content": "speed"
          }
        },
        {
          "match": {
            "content": "scalability"
          }
        },
        {
          "match": {
            "content": "relevance"
          }
        }
      ],
      "minimum_should_match": 2
    }
  }
}

上面的命令的返回结果是:

{

  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "valid" : true,
  "explanations" : [
    {
      "index" : "my_index",
      "valid" : true,
      "explanation" : "(content:elastic content:speed content:scalability content:relevance)~2"
    }
  ]
}

在 explanations 这个部分,我们可以看到

"explanation" : "(content:elastic content:speed content:scalability content:relevance)~2"

这个部分是真正要在 Apache Lucene 的部分进行查询的方法。

我们可以使用同样的方法来对 match 查询来进行验证:

GET my_index/_validate/query?rewrite=true
{
  "query": {
    "match": {
      "content": {
        "query": "Elastic speed scalability relevance",
        "minimum_should_match": 2
      }
    }
  }
}

上面的方法返回的结果是:

{
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "valid" : true,
  "explanations" : [
    {
      "index" : "my_index",
      "valid" : true,
      "explanation" : "(content:elastic content:speed content:scalability content:relevance)~2"
    }
  ]
}

从上面的结果可以看出来,这两种方法的查询的结果是完全一样的。针对 Apache Lucene 的查询完全是一样的,虽然它们的 DSL 的写法完全不同。

我们甚至可以针对如下的查询来进行验证:

GET my_index/_validate/query?rewrite=true
{
  "query": {
    "query_string": {
      "default_field": "content",
      "query": "Elastic speed scalability relevance",
      "minimum_should_match": "50%"
    }
  }
}

上面的查询结果为:

{
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "valid" : true,
  "explanations" : [
    {
      "index" : "my_index",
      "valid" : true,
      "explanation" : "(content:elastic content:speed content:scalability content:relevance)~2"
    }
  ]
}

显然它的查询结果和之前的没有什么不一样的。

我们也可以利用 explain 参数来对查询进行解释,比如:

GET my_index/_validate/query?explain=true
{
  "query": {
    "match": {
      "content": {
        "query": "Elastic speed scalability relevance",
        "minimum_should_match": 2
      }
    }
  }
}

上面显示的结果和之前的是一样的:

{
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "valid" : true,
  "explanations" : [
    {
      "index" : "my_index",
      "valid" : true,
      "explanation" : "(content:elastic content:speed content:scalability content:relevance)~2"
    }
  ]
}

如果我们不加任何的参数,我们并没有执行这个查询,只是验证一下查询是否为有效的查询:

GET my_index/_validate/query
{
  "query": {
    "match": {
      "content": {
        "query": "Elastic speed scalability relevance",
        "minimum_should_match": 2
      }
    }
  }
}

上面返回的结果为:

{
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "valid" : true
}

上面验证是成功的。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch 中,深度分页功能的使用需要考虑到性能问题。一般来说,建议不要使用过深的分页,以避免对 Elasticsearch 的性能造成负面影响。 以下是在 Elasticsearch使用深度分页的方法: 1. 使用 scroll API 进行深度分页查询 scroll API 可以在内存中存储搜索上下文,而不是在每个请求之间重新计算。这使得在大数据集上进行深度分页查询变得更加有效。 示例代码: ``` SearchRequest searchRequest = new SearchRequest("indexName"); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); searchSourceBuilder.query(QueryBuilders.matchAllQuery()); searchSourceBuilder.size(100); searchRequest.source(searchSourceBuilder); SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); String scrollId = searchResponse.getScrollId(); SearchHit[] searchHits = searchResponse.getHits().getHits(); while (searchHits != null && searchHits.length > 0) { SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId); scrollRequest.scroll(TimeValue.timeValueMinutes(1L)); SearchResponse scrollResponse = client.scroll(scrollRequest, RequestOptions.DEFAULT); scrollId = scrollResponse.getScrollId(); searchHits = scrollResponse.getHits().getHits(); // Do something with searchHits } ClearScrollRequest clearScrollRequest = new ClearScrollRequest(); clearScrollRequest.addScrollId(scrollId); client.clearScroll(clearScrollRequest, RequestOptions.DEFAULT); ``` 在上面的示例中,size 参数设置为 100,表示每次检索返回 100 个结果。scroll API 的 scroll 参数设置为 1 分钟,表示在这段时间内保持搜索上下文。 2. 使用 search_after 参数进行深度分页查询 search_after 参数可以用来指定上一次搜索的最后一个结果,以便从下一个结果开始进行分页查询。 示例代码: ``` SearchRequest searchRequest = new SearchRequest("indexName"); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); searchSourceBuilder.query(QueryBuilders.matchAllQuery()); searchSourceBuilder.size(100); searchRequest.source(searchSourceBuilder); SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); SearchHit[] searchHits = searchResponse.getHits().getHits(); while (searchHits != null && searchHits.length > 0) { SearchHit lastHit = searchHits[searchHits.length - 1]; searchSourceBuilder.searchAfter(lastHit.getSortValues()); searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); searchHits = searchResponse.getHits().getHits(); // Do something with searchHits } ``` 在上面的示例中,size 参数设置为 100,表示每次检索返回 100 个结果。search_after 参数使用上一次搜索的最后一个结果的排序值。 总之,深度分页查询Elasticsearch 中的实现需要考虑性能问题,建议使用 scroll API 或 search_after 参数来实现。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值