震惊！elasticsearch处理时间格式竟然要倒时差

于 2023-03-29 10:33:49 发布
阅读量151 收藏
点赞数
分类专栏： 坑位记录 文章标签： elasticsearch 大数据 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pyk592419392/article/details/129831545
版权

震惊！elasticsearch处理时间格式竟然要倒时差

在做客户画像项目的时候，遇到一个问题卡了很久，根据报错信息，一直认为是数据格式问题。最后发现竟然是跟时区有关系。

因为 Elasticsearch 存储数据时使用的是 UTC 时间，而不是本地时间。因此，当 Elasticsearch 计算时间时，可能会出现时差问题。

在这里插入图片描述

总结：

代码加上环境变量，设置好时间就能能解决该问题。

os.environ['TZ'] = 'Etc/GMT-8'

感谢参考链接
Elasticsearch 滞后8个小时等时区问题，一网打尽！
【elasticsearch】数据早8小时Or晚8小时，你知道为什么吗，附解决方案

witp
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELK中Kibana4中Elasticsearch的UTC时间误差八小时的处理方法
数据的启示
09-14 1万+
使用ELK组件从Kibana4中查看日志数据，以某个时间字段为timestam时发现所有时间都被自动提前了八个小时。 虽然是小问题，但是很头疼，因为作为基线的时间和实际情况有误差，那日志就没法看了。 查看Kibana4的json数据格式可以发现所有时间字符串都被Elasticsearch转换成了长整型： "fields": {     "@timestamp": [      
Elasticsearch中的date与时区问题
不见其长，日有所长
06-23 1万+
1 前言 本文主要讲解Elasticsearch中date类型数据的底层存储原理，以及对带时区日期字符串和不带时区的日期字符串如何在ES底层存储进行验证。对于直接存储Long类型时间戳，不作过多描述。 1.1 Date类型数据的存储 UTC(Universal Time Coordinated) 叫做世界统一时间，中国大陆所用的时间是东8区时间，比UTC时间超前8小时。即与 UTC 的时差是 +8 ,也就是 UTC+8。 在Elasticsearch内部，不论 date 是什么展示格式，所有date类型数据
Elasticsearch日期类型、常见时区问题
lj_淡然一笑的专栏
12-19 3266
Date datatype 简介 存储格式 JSON 本身没有date类型，Elasticsearch将设置了时区的date转换为UTC时间，将没有设置时区的date直接设置为UTC时间，以long型时间戳存储。 查询统计 date类型查询，将date转换为long型时间戳查询； date类型聚合，返回结果格式化date字符串； ElasticSearch查询、存储，将date类型转换为UTC l...
ElasticSearch里面关于日期的存储方式
三劫散仙
04-01 1万+
在ElasticSearch里面最常用的就是时间字段了，经常会在群里看到一些小伙伴提出有关时间的问题，为什么es查询的时间跟我实际看到的时间差8个小时呢。如果我们了解了ElasticSearch底层的时间存储方式就会比较容易的理解这个问题。 下面散仙先普及下时区的知识，想必大家也不陌生学过地理的同学都知道全球有24个时区每个时区的跨度是经度15度， 相较于两地时间表，可以显示世界各时区
国际化时区-ElasticSearch时区处理
zl
07-08 1697
一、存储格式二、查询统计三、使用建议参考资料一、存储格式JSON 本身没有date类型，Elasticsearch将设置了时区的date转换为UTC时间，将没有设置时区的date直接设置为UTC时间，以long型时间戳存储。官网文档《Date datatype文档》内容如下Date datatypeJSON doesn’t have a date datatype, so dates in Elasticsearch can either be:Internally, dates are converted
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
06-20
Elasticsearch（简称ES）是一款强大的开源搜索引擎，广泛应用于数据检索、分析和管理。作为分布式、RESTful风格的搜索和数据分析引擎，Elasticsearch能够提供实时、高可用性以及可扩展的搜索功能。在进行日常的数据...
Elasticsearch之倒排索引
01-20
倒排索引是全文搜索引擎如Elasticsearch实现高效搜索的关键数据结构。相较于传统的关系型数据库中的B+树索引，倒排索引在处理大规模、非结构化的文本数据时，展现出更高的性能优势。这是因为倒排索引能够快速定位到...
elasticsearch-日志处理系统
最新发布
07-01
Elasticsearch是一个开源的、分布式的实时搜索和分析引擎，可用于构建日志处理系统。它结合了高性能的搜索功能、复杂的分析能力以及强大的可扩展性，使得处理大规模的日志数据变得更加高效和可靠。 日志处理系统...
ES查询客户端，elasticsearch可视化工具
06-24
elasticsearch的客户端比较出名的就是elasticsearch head 和Kibana了， 但是elasticsearch head已经停止更新，且样式老旧，功能不全； 而Kibana虽功能全面，但是启动麻烦，大部分功能用不上，很不灵活，所以采用vite...
Elasticsearch亿级数据检索性能优化案例实战！
01-27
9. **利用Elasticsearch的聚合功能**：在查询时尽可能利用内置的聚合操作，减少不必要的中间结果处理。 通过以上优化措施，可以有效提升Elasticsearch在亿级数据量下的检索性能，满足业务需求。在实践中，应结合...
Docker安装Elasticsearch的遇到的那些坑
sun1021873926的博客
12-25 2万+
1.根据百度到的一篇文章https://segmentfault.com/a/1190000004376504下载其最新镜像 hangxin1940/docker-elasticsearch-cn:v2.1.0 使用 docker run -d -p 9200:9200 -p 9300:9300 --name es hangxin1940/docker-elasticsearch-cn:
Elasticsearch 时区问题
m0_67402970的博客
04-01 3100
背景：业务正常通过应用程序写入没有问题，通过hive同步mysql到es库的时候会出现时区问题，mysql时间字段类型是datetime； 原因：ES默认存储的是UTC时间，比北京时间晚8h； 解决方案： 1、将时间写入ES中string类型字段； 2、将时间以时间戳的形式存入ES中long类型字段； 3、ES默认是UTC时间，将时间+8h后存入ES中date类型字段； 4、写入时间数据时，指定时区，eg：“time”: “2016-07-15T12:58:17.136+0800” //东八区时间 ...
Elasticsearch时区问题
大白能的博客
07-15 1万+
发现问题 创建索引,配置date类型字段 批量插入数据,格式分别为带时区信息,不带时区信息,时间戳 对数据进行聚合 对数据进行查询,分别使用带时区信息,不带时区信息,时间戳三种格式 创建索引,配置字段类型 PUT testdate { "mappings": { "testdate":{ "properties": { "tag":{ ...
Elasticsearch 时区(time_zone)记录
Richar1的专栏
12-21 2万+
elasticsearch 默认是以utc时间存储的，现在我创建了两个索引，分别用存储了utc格式 和localtime格式的时间 使用百度echarts折线图展现对transaction_time聚合的结果 图一是对localtime聚合的结果， 图二是对utc时间聚合的结果， 可以看出，在使用es直方图进行聚合的时候，无论存储的的是localtime 还是utc，都会被转换成utc的
Elasticsearch为记录添加时间戳timestamp
热门推荐
王浩的技术博客
08-02 8万+
时间戳（timestamp）是表明某条数据产生的时间，代表了此数据在一个特定时间点已经存在的证据。本文描述了在Elasticsearch中添加时间戳的方式：手动和自动两种。
ElasticSearch Date时区问题
bigdata_player
03-07 1万+
时间中时区的几个名词： GMT:格林威治标准时间 UTC:世界协调时间 DST:夏日节约时间 CST:中国标准时间 问题来源 存入时间 数据库实际存储时间 2017-06-21 10:09:51(一致） kibana查看时间 2017-06-21 18:09:51(晚8小时) 问题解决 如果在写入数据时不加时区信息，Ela...
关于elasticsearch和kibana的时区和日期问题
Terry 的博客
09-22 8903
elasticsearch原生支持date类型，json格式通过字符来表示date类型。所以在用json提交日期至elasticsearch的时候，es会隐式转换，把es认为是date类型的字符串直接转为date类型。至于什么样的字符串es会认为可以转换成date类型，参考elasticsearch官网介绍https://www.elastic.co/guide/en/elasticsearch/
Lucene与ES面试攻略：倒排索引与Elasticsearch写入优化详解
本资源是一份关于Lucene和Elasticsearch面试指南的课程课件，主要聚焦于倒排索引的核心技术。课程分为几个部分： 1. **倒排索引深入理解**： - **倒排索引原理与应用场景**：讲解倒排索引的基本概念，它是一种用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值