Elasticsearch-日期数据类型和时区详解

最新推荐文章于 2024-05-17 14:24:22 发布
最新推荐文章于 2024-05-17 14:24:22 发布
阅读量1w 收藏 8
点赞数 3
分类专栏： ElasticSearch 文章标签： elasticsearch date 时区
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28988969/article/details/103498476
版权

前言

本文基于elasticsearch7.3.0版本

在这里插入图片描述

elasticsearch日期数据类型

官方文档:日期数据类型

在elasticsearch内部，日期被转换为UTC(如果指定了时区)，并存储为一个自1997-01-01 00:00:00(GMT)至当前时刻所经过的毫秒数

对日期的查询在内部转换为这种毫秒数表示形式上的范围查询
聚合和存储字段的结果将根据与字段关联的日期格式转换回字符串(聚合和存储字段的日期将始终以字符串形式呈现，即使最初在JSON文档中作为Long提供日期也是如此)

没有指定日期格式

默认使用

"strict_date_optional_time||epoch_millis"

官方文档:elasticsearch默认支持的所有日期格式

# 创建索引
PUT my_date
{
  "mappings": {
    "properties": {
      "publicDate":{
        "type": "date",
        // 不管publicDate是什么格式, 存储字段始终是字符串形式, 默认格式为yyyy-MM-dd'T'HH:mm:ss.SSSZ
        "store": true
      },
      "tag":{
        "type": "keyword",
        "store": true
      }
    }
  }
}

# 索引文档
POST my_date/_doc/1
{
  "publicDate":"1576022400000",
  "tag":"0时区:2019-12-11T00:00:00.000Z"
}

POST my_date/_doc/2
{
  "publicDate":"1576051200000",
  "tag":"0时区:2019-12-11T08:00:00.000Z"
}


POST my_date/_doc/3
{
  "publicDate":"2019-12-11T08:00:00",
  "tag":"0时区:2019-12-11T08:00:00.000Z"
}

POST my_date/_doc/4
{
  "publicDate":"2019-12-11T08:00:00+08:00",
  "tag":"0时区:2019-12-11T00:00:00.000Z"
}

从_source获取存储的文档, 不做任何处理,原样返回

# 查询
GET my_date/_search
{ 
  "query": {
    "match_all": {}
  }
}

# 结果
{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "my_date",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.0,
        "_source" : {
          "publicDate" : "1576022400000",
          "tag" : "0时区:2019-12-11T00:00:00.000Z"
        }
      },
      {
        "_index" : "my_date",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 1.0,
        "_source" : {
          "publicDate" : "1576051200000",
          "tag" : "0时区:2019-12-11T08:00:00.000Z"
        }
      },
      {
        "_index" : "my_date",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 1.0,
        "_source" : {
          "publicDate" : "2019-12-11T08:00:00",
          "tag" : "0时区:2019-12-11T08:00:00.000Z"
        }
      },
      {
        "_index" : "my_date",
        "_type" : "_doc",
        "_id" : "4",
        "_score" : 1.0,
        "_source" : {
          "publicDate" : "2019-12-11T08:00:00+08:00",
          "tag" : "0时区:2019-12-11T00:00:00.000Z"
        }
      }
    ]
  }
}

从存储字段获取文档, 日期会被格式成字符串形式

# 查询
GET my_date/_search
{
  "stored_fields": ["publicDate", "tag"], 
  "query": {
    "match_all": {}
  }
}

# 结果
{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "my_date",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.0,
        "fields" : {
          "publicDate" : [
            "2019-12-11T00:00:00.000Z"
          ],
          "tag" : [
            "0时区:2019-12-11T00:00:00.000Z"
          ]
        }
      },
      {
        "_index" : "my_date",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 1.0,
        "fields" : {
          "publicDate" : [
            "2019-12-11T08:00:00.000Z"
          ],
          "tag" : [
            "0时区:2019-12-11T08:00:00.000Z"
          ]
        }
      },
      {
        "_index" : "my_date",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 1.0,
        "fields" : {
          "publicDate" : [
            "2019-12-11T08:00:00.000Z"
          ],
          "tag" : [
            "0时区:2019-12-11T08:00:00.000Z"
          ]
        }
      },
      {
        "_index" : "my_date",
        "_type" : "_doc",
        "_id" : "4",
        "_score" : 1.0,
        "fields" : {
          "publicDate" : [
            "2019-12-11T00:00:00.000Z"
          ],
          "tag" : [
            "0时区:2019-12-11T00:00:00.000Z"
          ]
        }
      }
    ]
  }
}

聚合文档, 日期会被格式成字符串形式

# 聚合
GET my_date/_search
{
  "size": 0,
  "aggs": {
    "date_aggs": {
      "date_histogram": {
        "field": "publicDate",
        "calendar_interval": "1h",
        // >=1数量的桶才会被展示, 默认是0, 即都展示
        "min_doc_count": 1
      },
      "aggs":{
        "top_aggs":{
        	// 展示每个桶的前10个
          "top_hits": {
            "size": 10
          }
        }
      }
    }
  }
}

# 结果
{
  "took" : 12,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "date_aggs" : {
      "buckets" : [
        {
          "key_as_string" : "2019-12-11T00:00:00.000Z",
          "key" : 1576022400000,
          "doc_count" : 2,
          "top_aggs" : {
            "hits" : {
              "total" : {
                "value" : 2,
                "relation" : "eq"
              },
              "max_score" : 1.0,
              "hits" : [
                {
                  "_index" : "my_date",
                  "_type" : "_doc",
                  "_id" : "1",
                  "_score" : 1.0,
                  "_source" : {
                    "publicDate" : "1576022400000",
                    "tag" : "0时区:2019-12-11T00:00:00.000Z"
                  }
                },
                {
                  "_index" : "my_date",
                  "_type" : "_doc",
                  "_id" : "4",
                  "_score" : 1.0,
                  "_source" : {
                    "publicDate" : "2019-12-11T08:00:00+08:00",
                    "tag" : "0时区:2019-12-11T00:00:00.000Z"
                  }
                }
              ]
            }
          }
        },
        {
          "key_as_string" : "2019-12-11T08:00:00.000Z",
          "key" : 1576051200000,
          "doc_count" : 2,
          "top_aggs" : {
            "hits" : {
              "total" : {
                "value" : 2,
                "relation" : "eq"
              },
              "max_score" : 1.0,
              "hits" : [
                {
                  "_index" : "my_date",
                  "_type" : "_doc",
                  "_id" : "2",
                  "_score" : 1.0,
                  "_source" : {
                    "publicDate" : "1576051200000",
                    "tag" : "0时区:2019-12-11T08:00:00.000Z"
                  }
                },
                {
                  "_index" : "my_date",
                  "_type" : "_doc",
                  "_id" : "3",
                  "_score" : 1.0,
                  "_source" : {
                    "publicDate" : "2019-12-11T08:00:00",
                    "tag" : "0时区:2019-12-11T08:00:00.000Z"
                  }
                }
              ]
            }
          }
        }
      ]
    }
  }
}

指定日期格式

elasticsearch支持自定义日期格式
多种格式可以通过 || 间隔。在找到匹配的格式之前，将依次尝试每种格式。
第一种格式将用于格式化毫秒值为字符串(聚合和存储字段)

"format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"

# 创建索引
PUT my_date1
{
  "mappings": {
    "properties": {
      "publicDate": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis",
        // 不管publicDate是什么格式, 存储字段始终是字符串形式, 默认格式为第一种格式, 这里为yyyy-MM-ddHH:mm:ss
        // 同理, 如果yyyy-MM-dd在第一个, 那么格式化字符串形式就是yyyy-MM-dd
        "store": true
      }
    }
  }
}

# 索引文档
POST my_date1/_doc/1
{
  "publicDate":"1576051200000"
}

POST my_date1/_doc/2
{
  "publicDate":"2019-12-11 08:00:00"
}

POST my_date1/_doc/3
{
  "publicDate":"2019-12-11"
}

从_source获取存储的文档, 不做任何处理,原样返回

# 查询
GET my_date1/_search
{
  "query": {
    "match_all": {}
  }
}

# 结果
{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 3,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "my_date1",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.0,
        "_source" : {
          "publicDate" : "1576051200000"
        }
      },
      {
        "_index" : "my_date1",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 1.0,
        "_source" : {
          "publicDate" : "2019-12-11 08:00:00"
        }
      },
      {
        "_index" : "my_date1",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 1.0,
        "_source" : {
          "publicDate" : "2019-12-11"
        }
      }
    ]
  }
}

从存储字段获取文档, 日期会被格式成字符串形式, 第一个格式为yyyy-MM-dd HH:mm:ss

# 查询
GET my_date1/_search
{
  "stored_fields": ["publicDate"], 
  "query": {
    "match_all": {}
  }
}

# 结果
{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 3,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "my_date1",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.0,
        "fields" : {
          "publicDate" : [
            "2019-12-11 08:00:00"
          ]
        }
      },
      {
        "_index" : "my_date1",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 1.0,
        "fields" : {
          "publicDate" : [
            "2019-12-11 08:00:00"
          ]
        }
      },
      {
        "_index" : "my_date1",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 1.0,
        "fields" : {
          "publicDate" : [
            "2019-12-11 00:00:00"
          ]
        }
      }
    ]
  }
}

聚合文档, 日期会被格式成字符串形式, 第一个格式为yyyy-MM-dd HH:mm:ss

# 聚合
GET my_date1/_search
{
  "size": 0,
  "aggs": {
    "date_aggs": {
      "date_histogram": {
        "field": "publicDate",
        "calendar_interval": "1h",
        // >=1数量的桶才会被展示, 默认是0, 即都展示
        "min_doc_count":1
      }
    }
  }
}

# 结果
{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 3,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "date_aggs" : {
      "buckets" : [
        {
          "key_as_string" : "2019-12-11 00:00:00",
          "key" : 1576022400000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "2019-12-11 08:00:00",
          "key" : 1576051200000,
          "doc_count" : 2
        }
      ]
    }
  }
}

elasticsearch时区问题

存入es解析时区格式化时区说明
字符串通过UTC 0时区解析到的时间戳UTC 0时区UTC 0时区解析和格式化时区一致，没有问题
字符串通过东八区解析到的时间戳东八区UTC 0时区解析和格式化时区不一致,数据库导入时间戳到es缺少八小时就是这个原因, 常见, 聚合时需要指定东八区
字符串（没有时区）UTC 0时区UTC 0时区解析和格式化时区一致，没有问题, 推荐使用
字符串（有时区）指定的时区UTC 0时区解析和格式化时区不一致的话，就会存在问题

总结
elasticsearch时区问题产生的根本原因，说白了就是解析和格式化时的时区不一致造成的

数据库日期导入到es，聚合出来缺少八小时原因分析

存入时间戳：

  1. 数据库日期字符串yyyy-MM-dd HH:mm:ss
  2. 本地解析字符串成Date对象，时区：东八区
  3. getTime()获取时间戳，存入es
  4. 格式化日期成字符串，时区：UTC 0时区
  5. 解析和格式化时区不一致，所以导致缺少八小时

存入字符串（没有时区）：

  1. 数据库日期字符串yyyy-MM-dd HH:mm:ss
  2. 直接json写入es，es内部解析成Date对象，时区：UTC 0时区
  3. 格式化日期成字符串，时区：UTC 0时区
  4. 解析和格式化时区一致，没有问题

备注：
直接存入字符串没有这个问题，存入时间戳时会少八个小时

写写代码AAA
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Elasticsearch 参考指南（索引名中的日期公式支持）
weixin_34404393的博客
10-22 1816
索引名中的日期公式支持 日期公式索引名解析使你能够搜索一系列时间序列索引，而不是搜索所有时间序列索引并过滤结果或维护别名，限制搜索索引的数量可以减少集群上的负载并提高执行性能。例如，如果在每天的日志中搜索错误，可以使用日期公式名称模版将搜索限制在过去两天内。 几乎所有具有index参数的API都支持index参数值中的日期公式。 日期公式...
elasticsearch-analysis-dynamic-synonym-7.6.2
08-17
**Elasticsearch动态同义词插件详解** 在搜索引擎领域，同义词处理是一项重要的功能，它能够提高搜索结果的相关性和用户体验。Elasticsearch（ES）作为一款强大的全文搜索引擎，同样支持对同义词的处理。`elastic...
Elasticsearch date 类型详解
拜占庭GeekMake的博客
05-18 831
elasticsearch 数据是以 JSON 格式存储的，而JSON中是并没有date数据类型，因此 Elasticsearch 中虽然有date类型，但在展示时却要转化成另外的格式。 date类型在 Elasticsearch 展示的格式有下面几种： 将日期时间格式化后的字符串，如 "2015-01-01" 或者 "2015/01/01 12:10:30" long 型的整数，意义是milliseconds-since-the-epoch，翻译一下就是自1970-01-01 00:...
Elasticsearch 通过脚本清洗时间格式数据
white_while的博客
08-10 348
elasticsearch 脚本 Painless 使用
ES 中时间日期类型 “yyyy-MM-dd HH:mm:ss” 的完全避坑指南
最新发布
qq_42946376的博客
05-17 111
假如我们有如下索引tax，保存了一些公司的纳税或资产信息，单位为“万元”。当然这里面的数据是随意填写的。多少为数据统计的时间，当前这个例子里。索引达的含义并不重要。关键点在于字段的内容格式。我们看到date字段其中包含了多种日期的格式：“yyyy-MM-dd”，“yyyy-MM-dd”还有时间戳。如果按照dynamic mapping，采取自动映射器来映射索引。我们自然而然的都会感觉字段应该是一个date类型。
elasticsearch date_Elasticsearch从入门到放弃：瞎说Mapping
weixin_39708854的博客
11-30 223
前面我们聊了 Elasticsearch 的索引、搜索和分词器，今天再来聊另一个基础内容—— Mapping。Mapping 在 Elasticsearch 中的地位相当于关系型数据库中的 schema，它可以用来定义索引中字段的名字、定义字段的数据类型，还可以用来做一些字段的配置。从 Elasticsearch 7.0开始，Mapping 中不在乎需要定义 type 信息了，具体原因可以看官方的...
Elasticsearch-日期类型
weixin_30663391的博客
06-26 178
Elasticsearch-日期类型 date类型用于存储日期和时间。它是这样运作的：通常提供一个表示日期的字符串，例如2019-06-25T22:47。然后，ES解析这个字符串，然后将其作为long的数值存入Lucene的索引。该long型数值是从1970年1月1日00:00:00 UTC(UNIX纪元)到所提供的时间之间已经过去的毫秒数。 当搜索文档的时候，仍然提供date的字符串，在后台...
Elasticsearch 日期数据类型
duzm200542901104的专栏
08-10 1943
注意点：毫秒数的值是不能为负数的，如果时间在1970年以前，需要使用格式化的日期表达在ES的内部，时间会被转换为UTC时间（如果声明了时区）并使用长整形数字类型的进行存储。在日期字段上的查询，内部将会转换为使用长整形的毫秒进行范围查询，根据与字段关联的日期格式，聚合和存储字段的结果将转换回字符串。注意点：日期最终都会作为字符串呈现，即使最开始初始化的时候是利用JSON文档的long声明的。这意味着它将会接收带时间戳的日期，它将遵守限定的格式（或者yyyy-MM-dd）或者毫秒数。...
elasticsearch之日期类型有点怪
无风听海
02-15 1056
通过以下代码可以看到，左边界的值会覆盖new MutableDateTime(1970, 1, 1, 0, 0, 0, 0, DateTimeZone.UTC)对应的位置的数字，右边界的值会覆盖ew MutableDateTime(1970, 1, 1, 23, 59, 59, 999, DateTimeZone.UTC)对应位置的数字；索引数据的时候，elasticsearch内部会基于UTC时间，将传入的数据转化为基于milliseconds-since-the-epoch的一个长整型数字；
elasticsearch 之时间类型
web15085599741的博客
08-16 894
date 类型的查询在内部转为 long 处理，聚合返回的结果再根据字段定义的格式转为字符串输出。实际上不管日期以何种格式写入，在 ES 内部都会先换成 UTC 时间并存储为 long 类型。日期将始终呈现为字符串，即使它们最初是在 JSON 文档中作为 long 串提供的。比如: 1515150699465, 1515150699;注：sort 返回为数组，值均为毫秒时间戳。...
arcgis-elasticSearch-es-矢量数据导入插件-数据建模-mapping-indexsetting-字段映射
06-29
arcgis elasticSearch es 矢量数据导入插件 数据建模 mapping indexsetting 字段映射 索引建模支持geoshape、shape，text索引支持keyword/ngram/edgeNgram/ikSmart，快速导入，兼容multipolygon，带洞，多面，使用时...
elasticsearch-analysis-pinyin-7.4.0 es拼音分词器7.4.0
04-05
Elasticsearch（简称ES）是一款强大的开源搜索引擎，广泛应用于大数据领域的全文检索。它以其高可扩展性、实时性能以及丰富的分析能力著称。在中文环境下，由于汉字的复杂性，分词是实现有效搜索的关键步骤。为此，...
elasticsearch-analysis-ik-7.16.3.zip
11-04
在现代大数据分析和搜索引擎领域，Elasticsearch（ES）因其高效、灵活的全文检索能力而备受青睐。然而，对于中文这样的多字节语言，如何准确地进行分词是关键。这时，我们就需要引入专门的中文分词器。本文将详细...
elasticsearch-analysis-ik-7.10.0.zip下载
05-08
Elasticsearch是一个强大的开源搜索引擎和分析引擎，广泛应用于大数据处理和实时分析领域。"elasticsearch-analysis-ik"是针对Elasticsearch的一个中文分词插件，它的主要功能是提供高效、精准的中文分词能力，使得...
Elasticsearch 时间类型总结
u010325193的博客
03-17 5617
Elasticsearch 可以写入、查询不同的时间类型，但当遇到 Unix 时间戳和其他时间格式的时候会有点混乱，因此本文主要是总结一下各种时间类型和其他的表示方式。 1 日期类型 JSON没有日期类型，因此在 Elasticsearch 中可以表达成: 日期格式化的字符串，比如: "2015-01-01" 或者 "2015/01/01 12:10:30"; 毫秒级别的long类型...
elasticsearch 数据类型_Elasticsearch的基本使用
weixin_39574287的博客
11-21 302
前期我们已经介绍了Es的安装，本期将介绍Es的基本概念，与spring boot的整合使用。简介Elasticsearch是基于Lucene的全文检索库，本质也是存储数据，很多概念与MySQL类似。对比关系如下：索引(indices)--------------------------------Databases数据库 类型(type)-----------------------...
elasticsearch时间格式的使用
热门推荐
陌子曦的专栏
07-17 1万+
@Field( type = FieldType.Date,format = DateFormat.custom, pattern = "yyyy-MM-dd HH:mm:ss || yyyy-MM-dd || yyyy/MM/dd HH:mm:ss|| yyyy/MM/dd ||epoch_millis")//不行没有格式 @JsonFormat (shape = JsonFormat...
Elasticsearch日期格式化
专注基础架构领域
07-09 1万+
参照以下文章进行日期格式化即可，传送门： https://blog.csdn.net/smilepasta035/article/details/79550400
Elasticsearch-7.15.2和laravel版本
05-15
Laravel框架提供了Elasticsearch-7.15.2的官方扩展包——Scout，它可以方便地集成Elasticsearch-7.15.2和Laravel框架。通过Scout扩展包，可以轻松地将Laravel模型与Elasticsearch-7.15.2索引进行关联，并使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值