elasticsearch的多索引联合查询以及范围日期查询示例

一、前言

      首先,博主这边要用ES来代替传统的mysql操作,那么原来的多表联合查询操作自然也要转换为多索引联合查找。这里使用elasticsearch-php库来操作ES,原生的ES也是大同小异的。

日期查询优秀文章参考:

1、 自定义日期格式以及ES内置的日期格式

官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-date-format.html
优秀博客:
https://blog.csdn.net/u011019726/article/details/69541946
https://blog.csdn.net/gui66497/article/details/80433693
2、 日期问题,可能是需要先设置好mapping才能 查

链接:https://blog.csdn.net/weixin_36270623/article/details/84794652 (这个在新建索引的时候最好就设置好)

二、正文示例

      一直听说ES的日期查询有个坑,那就是时区问题,现在终于轮到我碰到了,有点期待呢。记录一下。 这里我本地刚开始是搜索不到的,传过来的日期参数形如:2019-03-28 11:23:52。后来看到kibana中显示:02/Apr/2019:18:18:20 -0700,所以试着在原来2019-03-29T01:43:01.368Z的基础上加上7小时,发现可以搜索到了。这是因为在数据入库的时候,没有指定时区为asia/shanghai,而ES默认选择时区为UTC,因此存储的数据和本地的json数据存在时间差7小时。

1、多索引联合日期范围查询

代码:

   $params = [
            'index' => ['zeusa.evony.com.accesslog-2019.03.28','zeusa.evony.com.accesslog-2019.03.29'], 
            'type' => 'doc',
            'body' => [
                'from'=>10,
                'size'=>20,  
   	"_source"=>[
                    "includes"=>[ "pixel*"],
                   // "excludes"=> [ "*.description" ]
                ],
                'query' => [
                        "range" =>[
                                "@timestamp" => [   
                                "gt" => "2019-03-28T23:58:56.052Z", 
                                "lt" =>"2019-03-29T23:58:56.052Z",  
                                "time_zone" =>"+07:00",
                            ]
                        ] 
                ]
            ]
        ];
  $repos =  $this->client->search($params);
        $arr = [];
        foreach($repos['hits']['hits'] as $v)
        {
            $arr[] = $v['_source'];
        }

解释:
(1)多索引查询: 多索引一起用,逗号隔开以数组的形式传过去,实测可以。根据业务把索引名拼成一个数组传进去即可
(2)关于size: 默认只查出来10条,可以自己控制条数,单默认设置不超过10000条。如果要获取查询的数量,设置为0即可。
如果要查询的数据很多,参考:https://blog.csdn.net/bushanyantanzhe/article/details/79109721 设置max_result_window参数即可
(3)关于查询字段: 字段名称要和kibana中看到的ES数据名称保持一致,比如这个字段前面的@一定要有,因为kibana中的字段是有@
(4)时间日期格式: 格式要和元数据的格式保持一致,不能是简单的2019-03-28 11:23:52,要么查询不出来数据,要不就会报错:

failed to parse date field [2019-03-28 11:23:52] with format [strict_date_optional_time||epoch_millis]: [Text '2019-03-28 11:23:52' could not be parsed, unparsed text found at index 10

(5)时间日期部分: 查询的时候,可以不精确到最后的sss,一样可以正常查询出来.但必须要带上TZ,不然会报错:

failed to parse date field [2019-03-29 08:43:11] withformat[strict_date_optional_time||epoch_millis

这里的TZ参考:https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-date-format.html ,直接搜索 strict_date_time 即可找到该定义
(6)time_zone: 经过反复测试,这个字段没起到作用。可能是我的问题,欢迎指导,谢谢
(7)_source: 这部分是为了筛选数据,因为正常查询出来的数据总是含有很多无用的字段,我们做分析只需要部分字段即可。所以可以通过_source的"includes“属性
规定返回的字段,”excludes"属性规定哪部分不反悔。我这里要查询的字段都有个前缀pixel,例如pixel.user_id等,所以使用pixel.*过滤。
参考官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/1.7/docs-get.html#get-source-filtering

2、如果要精准查询,替换range为:

  "bool"=>[
                "filter" =>[
                    "term" => [ "@timestamp" =>"2019-03-29T08:43:11.274Z" ]
                 ]
            ]

注意: 如果想要精准匹配,那就要用term,这样只会查出user_id=2478的记录。如果是用match查询,那么会查出所有带有user_id=2478的记录,也就是会有很多,比如 xxxxx&user_id=2478xxxxx 也会查出来。

3、格式化日期加上7小时

  $start = "2019-03-28 16:48:11";       //转化搜索的时间为TZ格式,并且加上7小时 date('Y-m-d H:i:s',strtotime("$start+7hour")));
   $st_arr = explode(' ',date('Y-m-d H:i:s',strtotime("$start+7hour")));
   $start = $st_arr[0].'T'.$st_arr[1].'Z';

关于日期可以参考:https://blog.csdn.net/li_lening/article/details/80930323

      以上就是关于elasticsearch的多索引查询以及范围日期查询的内容,多索引的关键是用数组的方式传过去,源码部分会遍历这个索引数组,分别查询组合。日期查询的关键是时区转换,其他的就是DSL的标准格式了。

end

### 回答1: 要实现 Elasticsearch索引联合查询,可以使用 Elasticsearch 的多索引查询功能。具体来说,可以使用 Elasticsearch 的 Multi-Search API 进行多个查询操作,然后将结果合并起来返回给用户。 以下是一个简单的示例代码,假设有两个索引 index1 和 index2,需要联合查询: ``` POST /_msearch {} {"index": "index1"} {"query": {"match_all": {}}} {} {"index": "index2"} {"query": {"match_all": {}}} ``` 上述代码中,`_msearch` 是 Multi-Search API,`index1` 和 `index2` 是要查询的两个索引,`match_all` 是一个简单的查询语句,表示匹配所有文档。查询结果会按照查询顺序依次返回,需要自行解析和处理。 需要注意的是,多索引联合查询可能会带来一些性能问题,特别是在大数据量场景下。因此,需要根据实际情况进行权衡和优化。 ### 回答2: Elasticsearch是一个分布式搜索引擎,可以用于存储、搜索和分析大规模的数据集合。在Elasticsearch中,我们可以使用多索引联合查询来实现对多个索引中的数据进行查询和分析。 多索引联合查询Elasticsearch中非常常见和重要。当我们有多个索引,每个索引包含不同类型或字段的数据时,我们可以使用多索引联合查询来同时搜索这些索引,并获取跨多个索引的结果。 使用多索引联合查询的步骤如下: 1. 创建索引:首先,我们需要创建多个索引,并将不同类型或字段的数据分别存储在这些索引中。 2. 查询语句:在进行多索引联合查询之前,我们需要构建一个查询语句。查询语句可以使用Elasticsearch提供的查询DSL(Domain Specific Language)来编写,通过指定不同的索引名称、查询条件和过滤条件来实现。 3. 查询执行:一旦查询语句准备好,我们可以将其发送到Elasticsearch服务器进行查询执行。Elasticsearch会同时搜索多个索引,并返回跨多个索引的结果。 4. 结果处理:最后,我们可以对查询结果进行处理和分析。可以根据需要,对结果进行排序、筛选、聚合等操作。 多索引联合查询在实际的应用场景中非常有用。例如,当我们的数据被分散存储在不同的索引中,需要同时查询和分析这些数据时,我们可以使用多索引联合查询来快速获取所需的结果。 总结而言,Elasticsearch提供了多索引联合查询的功能,可以方便地搜索和分析跨多个索引的数据。通过构建查询语句、执行查询并处理结果,我们可以快速获取我们所需的数据。 ### 回答3: Elasticsearch是一种开源的分布式搜索引擎,它可用于实现全文搜索、日志分析、数据可视化和实时数据分析等功能。在Elasticsearch中,可以通过多索引联合查询来同时搜索多个索引并获取结果。 多索引联合查询可以通过以下几种方式实现: 1. 使用多个索引名称:可以在查询语句中指定多个索引名称,用逗号分隔。例如,可以使用以下语句同时查询index1和index2两个索引: GET index1,index2/_search { "query": { "match": { "field": "value" } } } 2. 使用通配符查询多个索引:可以使用通配符在查询语句中匹配多个索引名称。例如,可以使用以下语句查询所有以"index"开头的索引: GET index*/_search { "query": { "match": { "field": "value" } } } 3. 使用别名查询多个索引:在创建索引时,可以为索引设置一个别名,然后在查询中使用别名来查询多个索引。例如,可以使用以下语句创建两个索引并为它们设置别名: PUT index1/_alias/myalias PUT index2/_alias/myalias 然后,可以使用以下语句查询myalias别名所对应的索引: GET myalias/_search { "query": { "match": { "field": "value" } } } 多索引联合查询可以帮助我们在一个请求中同时搜索多个索引,提高查询效率和性能。在进行多索引联合查询时,需要注意索引之间的数据结构和映射是否一致,以保证查询结果的准确性和一致性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

铁柱同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值