你用过Elasticsearch Percolate 反向检索吗?

Elasticsearch 最少必要知识实战教程直播回放

题记

percolator query 大家肯定在文档中见过,但实际业务中则较少用到。

本文探究一下percolator query的使用方法、原理、适用场景。

1、什么是percolator查询

percolator中文含义:渗透器。

percolator query等价于渗透查询或者反向查询

我们相信大多数Elasticsearch开发人员都会按照惯例进行思考,我们为数据建模并将其存储在索引中。然后,他们通过搜索API定义查询以检索这些文档。

percolator query 的原理则完全相反,如下图所示:

您将查询存储到索引中,然后通过Percolate API定义文档以检索这些查询。

也就是:

  • 传统查询,根据查询语句的查询条件返回文档。query->document。

  • 而percolator渗透查询,根据文档返回与之匹配的查询语句。document->query。

2、percolator 查询的应用场景

举例:提供一个存储用户兴趣的平台,以便在每次有新内容进入时将正确的内容(通知警报)发送给正确的用户。

举例:用户订阅了特定主题,以便一旦该主题的新文章出现,就会向感兴趣的用户发送通知。

应用场景如下:

  • 价格监控

  • 新闻警报

  • 股票警告

  • 日志监控

  • 天气预报

  • 库存警报

  • ......

3、实战一把

3.1 实际业务需求

阈值告警业务场景——当指定字段count值大于阈值时候,报警提示。

3.2 percolator mapping定义

DELETE my-index
PUT /my-index
{
  "mappings": {
    "properties": {
      "threshold": {
        "type": "long"
      },
      "count": {
        "type": "long"
      },
      "query": {
        "type": "percolator"
      }
    }
  }
}

注意:percolator是等价于:keyword、long、Integer的数据类型。

 "query": {
        "type": "percolator"
      }

这种定义结构是不可以修改的。

3.3 插入文档

PUT /my-index/_doc/1
{
  "threshold": 100,
  "query": {
    "bool": {
      "must": {
        "range": {
          "count":{
            "gt":100
          }
        }
      }
    }
  }
}

3.4 查询实现

GET /my-index/_search
{
  "query": {
    "percolate": {
      "field": "query",
      "documents": [
        {
          "count": 1
        },
        {
          "count": 50
        },
        {
          "count": 120
        },
        {
          "count": 150
        }
      ]
    }
  }
}

返回结果(部分):

{
  "took" : 4,
.......省略.....
        },
        "fields" : {
          "_percolator_document_slot" : [
            2,
            3
          ]
        }
      }
    ]
  }
}

其中:"_percolator_document_slot” 指代的是:文档position,从0开始计数。

4、percolator 查询如何实现?

第一:通过使用DSL将用户的待设置的预警条件构造成Elasticsearch query语句,就好像它是一个文档一样,导入Elasticsearch索引。

第二:每次发布新文章时,都无需对其编入索引(索引化),就可以对其进行过滤,以了解文档值是否达到阈值。

第三:根据返回结果_percolator_document_slot,决定是否预警及精确值预警。

参考:

[1] https://www.agiratech.com/elasticsearch-percolator-query-implementation-in-ruby/

[2] https://qvault.io/2019/11/14/how-percolate-queries-in-elasticsearch-make-alerting-a-breeze/

[3] https://stackoverflow.com/questions/21536599/what-does-percolator-mean-do-in-elasticsearch


推荐阅读:

重磅 | 死磕Elasticsearch方法论认知清单(2019国庆更新版)干货 | 95后运维小哥20天+通过Elastic认证考试经验分享

“金三银四“,敢不敢“试”?

潜心一技、做到极致!——Elastic认证工程师之路



更短时间更快习得更多干货!

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

铭毅天下

和你一起,死磕Elastic!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值