Elasticsearch date 类型详解

引言 一直对 elasticsearch 中的 date 类型认识比较模糊,而且在使用中又比较常见,这次决定多花些时间,彻底弄懂它,希望能对用到的同学提供帮助。

注意:本文测试使用是 elasticsearch 6.3 版本,其他版本规则可能有所变化,如遇到不兼容的情况,还请参考 官方文档

Date 数据类型 elasticsearch 数据是以 JSON 格式存储的,而 JSON中是并没有 date 数据类型,因此 Elasticsearch 中虽然有 date 类型,但在展示时却要转化成另外的格式。

date 类型在 Elasticsearch 展示的格式有下面几种:

将日期时间格式化后的字符串,如 "2015-01-01" 或者 "2015/01/01 12:10:30" long 型的整数,意义是 milliseconds-since-the-epoch,翻译一下就是自 1970-01-01 00:00:00 UTC 以来经过的毫秒数。 int 型的整数,意义是 seconds-since-the-epoch, 是指自 1970-01-01 00:00:00 UTC 以来经过的秒数。 后两种的描述里都包含 UTC ,什么是 UTC 呢?

UTC(Universal Time Coordinated) 叫做世界统一时间,中国大陆和 UTC 的时差是 + 8 ,也就是 UTC+8。

不论 date 是什么展示格式,在 Elasticsearch 内部存储时都是转换成 UTC,并且把时区也会计算进去,从而得到 milliseconds-since-the-epoch 并作为存储的格式。

在查询日期时,会执行下面的过程:

转换成 long 整形格式的范围(range) 查询 得到聚合的结果 将结果中的 date 类型(long 整型数据)根据 date format 字段转换回对应的展示格式 Date 的默认格式 Date 的格式化类型是可以通过 format 来指定的,如果没有指定,就会使用默认的格式:

"strict_date_optional_time||epoch_millis" 这表示什么意思呢?

先来弄懂 strict_date_optional_time

A generic ISO datetime parser where the date is mandatory and the time is optional. Full details here.

这是 elasticsearch 官网的解释,表示只要是 ISO datetime parser 可以正常解析的都是 strict_date_optional_time。都有哪些语法呢?

date-opt-time = date-element ['T' [time-element] [offset]] date-element = std-date-element | ord-date-element | week-date-element std-date-element = yyyy ['-' MM ['-' dd]] ord-date-element = yyyy ['-' DDD] week-date-element = xxxx '-W' ww ['-' e] time-element = HH [minute-element] | [fraction] minute-element = ':' mm [second-element] | [fraction] second-element = ':' ss [fraction] fraction = ('.' | ',') digit+ 其中中括号内的都是可选的,可填可不填。以 std-date_element 举个例子

2018-11-19 2018 2018-11 上面 3 种格式都满足要求。

除了 strict_date_optional_time ,还可以是 epoch_millis 格式,即 epoch 以来的毫秒数。

举个例子

PUT my_index { "mappings": { "_doc": { "properties": { "date": { "type": "date" } } } } }

PUT my_index/_doc/1 { "date": "2015-01-01" }

PUT my_index/_doc/2 { "date": "2015-01-01T12:10:30Z" }

PUT my_index/_doc/3 { "date": 1420070400001 }

GET my_index/_search { "sort": { "date": "asc"} 上面的 PUT 请求中的 date 数据均满足默认的要求。

如何指定多个 date 格式? 同一个 date 字段可以指定多个 date 格式,只要使用 || 分隔就可以了。在索引,都会对 date 格式挨个进行匹配,直到找到匹配的格式为止。

如果存储时 date 格式为 milliseconds-since-the-epoch ,在查询时会将其转换为指定的第一个 date 格式。

举个例子,有兴趣的同学可在 sense 中动手实践下。

PUT my_index { "mappings": { "doc": { "properties": { "date": { "type": "date", "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis" } } } } }

PUT /my_index/doc/1 { "date": "2018-09-24 19:23:45" }

PUT /my_index/doc/2 { "date": "2018-09-25" }

GET my_index/_search { "query": { "match_all": {} } } 小结 本文主要讲解了 elsaticserach 中的 date 类型格式,语法及转换过程。elasticsearch 中存储 date 类型统一使用 milliseconds-since-the-epoch 格式,展示时根据不同格式而区分。 欢迎工作一到五年的Java工程师朋友们加入Java群: 891219277 群内提供免费的Java架构学习资料(里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码,MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多个知识点的架构资料)合理利用自己每一分每一秒的时间来学习提升自己,不要再用"没有时间“来掩饰自己思想上的懒惰!趁年轻,使劲拼,给未来的自己一个交代!

转载于:https://juejin.im/post/5bf7e2dd51882516be2ecf1d

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值