Elasticsearch时区问题

最新推荐文章于 2024-07-31 09:26:39 发布
最新推荐文章于 2024-07-31 09:26:39 发布
阅读量1.7w 收藏 9
点赞数 5
分类专栏： ElasticSearch 文章标签： elasticsearch 时区
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28988969/article/details/96023582
版权

发现问题

  1. 创建索引,配置date类型字段
  2. 批量插入数据,格式分别为带时区信息,不带时区信息,时间戳
  3. 对数据进行聚合
  4. 对数据进行查询,分别使用带时区信息,不带时区信息,时间戳三种格式

创建索引,配置字段类型

PUT testdate
{
  "mappings": {
    "testdate":{
      "properties": {
        "tag":{
          "type": "keyword"
        },
        "datetime":{
          "type": "date"
        }
      }
    }
  }
}

批量插入数据

POST /_bulk
{"create":{"_index":"testdate","_type":"testdate","_id":1}}
{"tag":"带时区信息","datetime":"2019-07-15T08:00:00+08:00"}
{"create":{"_index":"testdate","_type":"testdate","_id":2}}
{"tag":"不带时区信息","datetime":"2019-07-15T08:00:00"}
{"create":{"_index":"testdate","_type":"testdate","_id":3}}
{"tag":"时间戳","datetime":"1563148800000"}

对数据进行聚合操作
不带时区信息聚合

POST /testdate/testdate/_search
{
  "size": 0, 
  "aggs": {
    "aggs_datetime": {
      "date_histogram": {
        "field": "datetime",
        "interval": "hour"
      },
      "aggs": {
        "aggs_tag": {
          "terms": {
            "field": "tag",
            "size": 10
          }
        }
      }
    }
  }
}

结果
不带时区信息时间显示正常, 时间戳和带时区信息时间提前8小时

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 3,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "aggs_datetime": {
      "buckets": [
        {
          "key_as_string": "2019-07-15T00:00:00.000Z",
          "key": 1563148800000,
          "doc_count": 2,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
              {
                "key": "带时区信息",
                "doc_count": 1
              },
              {
                "key": "时间戳",
                "doc_count": 1
              }
            ]
          }
        },
        {
          "key_as_string": "2019-07-15T01:00:00.000Z",
          "key": 1563152400000,
          "doc_count": 0,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
          }
        },
        {
          "key_as_string": "2019-07-15T02:00:00.000Z",
          "key": 1563156000000,
          "doc_count": 0,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
          }
        },
        {
          "key_as_string": "2019-07-15T03:00:00.000Z",
          "key": 1563159600000,
          "doc_count": 0,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
          }
        },
        {
          "key_as_string": "2019-07-15T04:00:00.000Z",
          "key": 1563163200000,
          "doc_count": 0,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
          }
        },
        {
          "key_as_string": "2019-07-15T05:00:00.000Z",
          "key": 1563166800000,
          "doc_count": 0,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
          }
        },
        {
          "key_as_string": "2019-07-15T06:00:00.000Z",
          "key": 1563170400000,
          "doc_count": 0,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
          }
        },
        {
          "key_as_string": "2019-07-15T07:00:00.000Z",
          "key": 1563174000000,
          "doc_count": 0,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
          }
        },
        {
          "key_as_string": "2019-07-15T08:00:00.000Z",
          "key": 1563177600000,
          "doc_count": 1,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
              {
                "key": "不带时区信息",
                "doc_count": 1
              }
            ]
          }
        }
      ]
    }
  }
}

东八区

POST /testdate/testdate/_search
{
  "size": 0, 
  "aggs": {
    "aggs_datetime": {
      "date_histogram": {
        "field": "datetime",
        "interval": "hour",
        "time_zone": "+08:00"
      },
      "aggs": {
        "aggs_tag": {
          "terms": {
            "field": "tag",
            "size": 10
          }
        }
      }
    }
  }
}

结果
时间戳和带时区信息时间显示正常, 不带时区信息时间推后8小时

{
  "took": 3,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 3,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "aggs_datetime": {
      "buckets": [
        {
          "key_as_string": "2019-07-15T08:00:00.000+08:00",
          "key": 1563148800000,
          "doc_count": 2,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
              {
                "key": "带时区信息",
                "doc_count": 1
              },
              {
                "key": "时间戳",
                "doc_count": 1
              }
            ]
          }
        },
        {
          "key_as_string": "2019-07-15T09:00:00.000+08:00",
          "key": 1563152400000,
          "doc_count": 0,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
          }
        },
        {
          "key_as_string": "2019-07-15T10:00:00.000+08:00",
          "key": 1563156000000,
          "doc_count": 0,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
          }
        },
        {
          "key_as_string": "2019-07-15T11:00:00.000+08:00",
          "key": 1563159600000,
          "doc_count": 0,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
          }
        },
        {
          "key_as_string": "2019-07-15T12:00:00.000+08:00",
          "key": 1563163200000,
          "doc_count": 0,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
          }
        },
        {
          "key_as_string": "2019-07-15T13:00:00.000+08:00",
          "key": 1563166800000,
          "doc_count": 0,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
          }
        },
        {
          "key_as_string": "2019-07-15T14:00:00.000+08:00",
          "key": 1563170400000,
          "doc_count": 0,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
          }
        },
        {
          "key_as_string": "2019-07-15T15:00:00.000+08:00",
          "key": 1563174000000,
          "doc_count": 0,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
          }
        },
        {
          "key_as_string": "2019-07-15T16:00:00.000+08:00",
          "key": 1563177600000,
          "doc_count": 1,
          "aggs_tag": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
              {
                "key": "不带时区信息",
                "doc_count": 1
              }
            ]
          }
        }
      ]
    }
  }
}

对数据进行结构化查询
时间戳

POST /testdate/testdate/_search
{
  "query": {
    "range": {
      "datetime": {
        "gte": 1563148800000
      }
    }
  }
}

三条数据全部返回

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 3,
    "max_score": 1,
    "hits": [
      {
        "_index": "testdate",
        "_type": "testdate",
        "_id": "2",
        "_score": 1,
        "_source": {
          "tag": "不带时区信息",
          "datetime": "2019-07-15T08:00:00"
        }
      },
      {
        "_index": "testdate",
        "_type": "testdate",
        "_id": "1",
        "_score": 1,
        "_source": {
          "tag": "带时区信息",
          "datetime": "2019-07-15T08:00:00+08:00"
        }
      },
      {
        "_index": "testdate",
        "_type": "testdate",
        "_id": "3",
        "_score": 1,
        "_source": {
          "tag": "时间戳",
          "datetime": "1563148800000"
        }
      }
    ]
  }
}

不带时区

POST /testdate/testdate/_search
{
  "query": {
    "range": {
      "datetime": {
        "gte": "2019-07-15T08:00:00"
      }
    }
  }
}

只返回了不带时区信息的一条数据

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 1,
    "hits": [
      {
        "_index": "testdate",
        "_type": "testdate",
        "_id": "2",
        "_score": 1,
        "_source": {
          "tag": "不带时区信息",
          "datetime": "2019-07-15T08:00:00"
        }
      }
    ]
  }
}

带时区

POST /testdate/testdate/_search
{
  "query": {
    "range": {
      "datetime": {
        "gte": "2019-07-15T08:00:00+08:00"
      }
    }
  }
}

三条数据全部返回

{
  "took": 0,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 3,
    "max_score": 1,
    "hits": [
      {
        "_index": "testdate",
        "_type": "testdate",
        "_id": "2",
        "_score": 1,
        "_source": {
          "tag": "不带时区信息",
          "datetime": "2019-07-15T08:00:00"
        }
      },
      {
        "_index": "testdate",
        "_type": "testdate",
        "_id": "1",
        "_score": 1,
        "_source": {
          "tag": "带时区信息",
          "datetime": "2019-07-15T08:00:00+08:00"
        }
      },
      {
        "_index": "testdate",
        "_type": "testdate",
        "_id": "3",
        "_score": 1,
        "_source": {
          "tag": "时间戳",
          "datetime": "1563148800000"
        }
      }
    ]
  }
}

原因分析

    /**
     * @desc : 时间戳
     * @author : cheng
     * @date : 2019-12-10 23:23
     */
    @Test
    public void testA() throws Exception{
        String dateStr = "2019-07-15 08:00:00";
        SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

        // 解析字符串，时区：东八区
        Date date = dateFormat.parse(dateStr);
        System.out.println(date.getTime());

        // 格式化日期，时区：0时区
        dateFormat.setTimeZone(TimeZone.getTimeZone("GMT"));
        System.out.println(dateFormat.format(date));
    }

	// 输出
	1563148800000
	2019-07-15 00:00:00

    /**
     * @desc : 带时区
     * @author : cheng
     * @date : 2019-12-10 23:24
     */
    @Test
    public void testB() throws Exception{
        String dateStr = "2019-07-15 08:00:00+0800";

        SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ssZ");

        // 解析字符串，时区：东八区
        Date date = dateFormat.parse(dateStr);

        // 格式化日期，时区：0时区
        dateFormat.setTimeZone(TimeZone.getTimeZone("GMT"));
        System.out.println(dateFormat.format(date));
    }

	// 输出
	2019-07-15 00:00:00+0000

    /**
     * @desc : 不带时区信息
     * @author : cheng
     * @date : 2019-12-10 23:23
     */
    @Test
    public void testC() throws Exception{
        String dateStr = "2019-07-15 08:00:00";

        SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

        // 解析字符串，时区：0时区
        dateFormat.setTimeZone(TimeZone.getTimeZone("GMT"));
        Date date = dateFormat.parse(dateStr);

        // 格式化日期，时区：0时区
        dateFormat.setTimeZone(TimeZone.getTimeZone("GMT"));
        System.out.println(dateFormat.format(date));
    }

	// 输出
	2019-07-15 08:00:00

ES日期类型使用UTC

时间戳1563148800000
时间戳本身就是UTC毫秒数, 和时区没有关系, 实际存储的就是这个值

String dateStr = "2019-07-15 08:00:00";
// 时间戳和时区无关, UTC毫秒数
System.out.println(DateUtils.parseDate(dateStr, Locale.ENGLISH, "yyyy-MM-dd HH:mm:ss").getTime());
System.out.println(DateUtils.parseDate(dateStr, Locale.US, "yyyy-MM-dd HH:mm:ss").getTime());
System.out.println(DateUtils.parseDate(dateStr, Locale.FRENCH, "yyyy-MM-dd HH:mm:ss").getTime());

输出
1563148800000
1563148800000
1563148800000

不带时区信息格式2019-07-15T08:00:00
等价于2019-07-15T08:00:00+00:00, 默认就是UTC 0时区时间, 实际存储的就是这个值

带时区信息格式2019-07-15T08:00:00+08:00
东八区时间 = UTC0时区 + 8个小时
所以实际存储的值为UTC0时区 = 东八区 - 8小时 = 2019-07-15T00:00:00+00:00, 实际存储2019-07-15T00:00:00+00:00

// 本地时间为2019-07-15 08:00:00
Date date = new Date();
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

// 不设置时区, 默认为机器所在时区
System.out.println(sdf.format(date));

// 东八区
sdf.setTimeZone(TimeZone.getTimeZone("GMT+8"));
System.out.println(sdf.format(date));

// 0时区 = 东八区 - 8个小时
sdf.setTimeZone(TimeZone.getTimeZone("GMT"));
System.out.println(sdf.format(date));

输出
2019-07-15 08:00:00
2019-07-15 08:00:00
2019-07-15 00:00:00

总结

  • 存储:es使用UTC时间存储date类型
  • 查询:查询的时间会转换成UTC时间,然后进行查询操作

使用建议

  • 强制:存入es的日期类型数据,必须全部带上时区信息或者使用时间戳(可视化效果差,不建议)
  • 强制:使用日期聚合时,必须带上时区信息
  • 强制:查询日期类型数据是,必须带上时区信息,或者时间戳(可视化效果差,不建议)

索引中的文档存在跨时区,那么索引,聚合,查询时都需要带上时区信息
索引中的文档不存在跨时区,即全在同一时区,那么索引,聚合,查询时都不需要带上时区信息

写写代码AAA
关注
专栏目录
ElasticSearch Date时区问题
bigdata_player
03-07 1万+
时间中时区的几个名词： GMT:格林威治标准时间 UTC:世界协调时间 DST:夏日节约时间 CST:中国标准时间 问题来源 存入时间 数据库实际存储时间 2017-06-21 10:09:51(一致） kibana查看时间 2017-06-21 18:09:51(晚8小时) 问题解决 如果在写入数据时不加时区信息，Ela...
国际化时区-ElasticSearch时区处理
zl
07-08 1723
一、存储格式二、查询统计三、使用建议参考资料一、存储格式JSON 本身没有date类型，Elasticsearch将设置了时区的date转换为UTC时间，将没有设置时区的date直接设置为UTC时间，以long型时间戳存储。官网文档《Date datatype文档》内容如下Date datatypeJSON doesn’t have a date datatype, so dates in Elasticsearch can either be:Internally, dates are converted
Elasticsearch 自动插入东八区默认时间实现
最新发布
铭毅天下Elasticsearch
07-31 598
1、问题1：Elasticsearch 有没有办法设置自动默认值呢?比如默认update_time=当前时间？回顾一下 Elasticsearch 相关知识点，可知：Elasticsearch 并没有创建索引设定默认值的机制。也就是说，没有 MySQL 中设置字段默认值的功能。MySQL 中设置默认时间，大家都比较熟悉了：CREATETABLEexample_table( idIN...
Elasticsearch 滞后8个小时等时区问题，一网打尽！
铭毅天下Elasticsearch
08-09 7098
1、实战问题如下都是实战环节遇到的问题：logstash谁解决过时区问题，mysql是东八区shanghai 但是这玩意读完存到es就少了8小时？目前索引会比真正时间晚8小时，导致8点前的...
Elasticsearch 时区问题
m0_67402970的博客
04-01 3119
背景：业务正常通过应用程序写入没有问题，通过hive同步mysql到es库的时候会出现时区问题，mysql时间字段类型是datetime； 原因：ES默认存储的是UTC时间，比北京时间晚8h； 解决方案： 1、将时间写入ES中string类型字段； 2、将时间以时间戳的形式存入ES中long类型字段； 3、ES默认是UTC时间，将时间+8h后存入ES中date类型字段； 4、写入时间数据时，指定时区，eg：“time”: “2016-07-15T12:58:17.136+0800” //东八区时间 ...
Elasticsearch中的date与时区问题
不见其长，日有所长
06-23 1万+
1 前言 本文主要讲解Elasticsearch中date类型数据的底层存储原理，以及对带时区日期字符串和不带时区的日期字符串如何在ES底层存储进行验证。对于直接存储Long类型时间戳，不作过多描述。 1.1 Date类型数据的存储 UTC(Universal Time Coordinated) 叫做世界统一时间，中国大陆所用的时间是东8区时间，比UTC时间超前8小时。即与 UTC 的时差是 +8 ,也就是 UTC+8。 在Elasticsearch内部，不论 date 是什么展示格式，所有date类型数据
[ES]ElasticSearch中时间日期的时区探讨
古辛博格
12-07 1844
ES的默认时区为UTC，探讨通过强转或时间函数获得的结果影响
关于ES和Kibana中时区问题
奋进的K
03-26 2490
ES中： 日期时间字段在json中以字符串形式存在，但是在es中有专门的date类型来表示日期时间，并且，es中是以0时区来存储date类型的值。 这就引出了一个问题： 如果原始内容中的日期时间字段有时区信息，那么es会将其转换为0时区并转换为时间戳以long类型存储在es中； 如果原始内容日期时间字段没有时区信息的话，例如2018-10-30 11:10:45,那么es会将其视为0时区的时间,即实际在es中存储为2018-10-30 11:10:45 +0000的时刻。 kibana中 kibana从es
spark计算elasticsearch中的数据是时间字段时,出现时区问题的解决
H_lxl的博客
03-21 327
使用spark计算Elasticsearch中的数据出现时区bug
Logstash 导入数据到ES所遇到的问题和经验
yunzhonghefei的博客
07-02 3699
Logstash 导入数据到Elastic所遇到的问题和经验，整理如下： 1、导入中文乱码，需要在配置文件中，增加编码指定，具体可以参考： input { file { path => "F:/logstash-data-movie-latest/ml-latest/jsonResult.csv" start_position => "beginning" sincedb_path => "F:/logstash-data-movie-latest/ml-
ElasticTimezone:将每个时区转储到Elasticsearch服务器中以进行超快速查询
05-17
这是什么 将每个时区转储到Elasticsearch服务器中以进行超快速查询 如何 node index.js --host=myhost --index=myindex 参数 主机（localhost：9200）; 指数（geo-zones-test）； 类型（TimeZone）; 极限（5）;
elasticsearch Date数据类型和时区的常见问题及解决方案
qq_50790981的博客
07-07 1611
由于es内部date类型默认时区为UTC且不可修改，在实际使用时可能会出现一些时区转换相关的问题。包含1：查看时发现es写入后的时间值比实际时间相差8小时；2：使用date histogram做聚合查询涉及时区问题；3：使用now函数进行时间范围过滤出现错误
Elasticsearch 时区(time_zone)记录
热门推荐
Richar1的专栏
12-21 2万+
elasticsearch 默认是以utc时间存储的，现在我创建了两个索引，分别用存储了utc格式 和localtime格式的时间 使用百度echarts折线图展现对transaction_time聚合的结果 图一是对localtime聚合的结果， 图二是对utc时间聚合的结果， 可以看出，在使用es直方图进行聚合的时候，无论存储的的是localtime 还是utc，都会被转换成utc的
ElasticSearch Date时区问题及解决方案
weixin_40857858的博客
09-07 842
问题原因：ElasticSearch Date时区问题 解决方案：存储时使用时间戳，查询时也使用时间戳
es时区问题详解
weixin_40857858的博客
06-10 246
Elasticsearch时区问题
Elasticsearch中的时区设置
03-28
Elasticsearch中的时区设置可以通过在配置文件中设置`timezone`参数来实现。具体操作如下： 1. 打开Elasticsearch配置文件`elasticsearch.yml`。 2. 在文件末尾添加以下内容： ``` # 设置时区 # timezone格式为...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值