logstash 读取MySQL数据到elasticsearch 相差8小时解决办法

最新推荐文章于 2024-04-15 17:41:10 发布

北凉-徐凤年

最新推荐文章于 2024-04-15 17:41:10 发布

阅读量312

点赞数

分类专栏：日常工作遇到的问题文章标签： elasticsearch 大数据搜索引擎 Powered by 金山文档

本文链接：https://blog.csdn.net/Liu__sir__/article/details/129286700

版权

日常工作遇到的问题专栏收录该内容

23 篇文章 1 订阅

订阅专栏

文章讲述了在从MySQL同步数据到Elasticsearch(ES)时，由于Logstash默认使用UTC时间和ES存储时间的差异，导致时间戳显示少8小时。解决方案是在同步脚本中添加Ruby代码将时间转换为本地时区，然后在Kibana中查询时时间戳显示正确。然而，日志时间仍然有8小时偏差，作者寻求进一步解决办法。

摘要由CSDN通过智能技术生成

问题复现：

从MySQL同步过来的数据到es中@timestamp会少8小时

问题原因：

查了资料发现，这是由于logstash在获取时区的时候，默认获取的是UTC默认时间，同时elasticsearch在创建索引的时候，统一使用UTC时间，因为中国使用的为东8时区，源数据和实际创建的索引数据会相差8个小时。

解决方案：

在你写的同步脚本中添加

filter {
    ruby {
        code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"
    }
    ruby {
        code => "event.set('@timestamp',event.get('timestamp'))"
    }
    mutate {
        remove_field => ["timestamp"]
    }
}

重新执行传输命令：./bin/logstash -f 配置文件目录

回到kibana上查询数据，发现时间戳合适了。