ELK日志收集和备份填坑实战 （滞后8个小时等时区问题）

于 2024-04-15 11:39:49 发布
阅读量1k 收藏 22
点赞数 8
分类专栏： 项目实战 文章标签： elk kibana
未经本人允许，禁止转载，谢谢合作 南宫乘风
本文链接：https://blog.csdn.net/heian_99/article/details/137773024
版权

ES的备份：ES快照备份
根据时间，每天零点在Linux机器crontab来调用api接口实现快照备份，通过快照备份，可以定准恢复到某一天的日志。
现象：（坑：但是恢复某一天日志，发现会少8小时的日志，基本是：0:00 - 08:00 时间段）

1、引言：

在大规模分布式系统中，ELK（Elasticsearch、Logstash、Kibana）栈已成为日志管理和分析的标准工具集。然而，实际部署与运维过程中，往往会遭遇各种挑战，其中时区问题导致的日志时间滞后尤为常见。本文将聚焦于解决ELK日志收集与备份过程中出现的滞后8小时等时区问题，分享实战经验与填坑策略。

2、问题现象与原因

1、剖析滞后8小时时区

现象描述：在Kibana上观察到的一个典型现象是，即使日志事件是在当地时间上午9点发生的，但在日志系统中显示的时间却是下午5点。这种时差问题会导致运维团队在实时监控和响应中遭遇不少困难，因为所有的日志数据都显示为8小时前的事件。

问题根源

这一问题通常由以下几个因素造成：

  1. 日志源端时区设置错误：
    日志生成时，很多系统默认使用格林尼治标准时间（GMT）来记录时间戳，而不是当地时间。如果日志源设备或服务的时区设置不正确，或未明确指定时区，就会在源头产生时间偏差。

  2. 传输过程中的时区处理不当：
    在日志数据的收集过程中，如使用Logstash或Filebeat等工具，若这些工具没有被正确配置为转换或识别正确的时区，它们在处理日志时会继续使用GMT时间戳，从而进一步传递错误的时间信息。

  3. Elasticsearch存储与展示的时区配置不当：
    Elasticsearch在存储时间数据时，默认使用UTC时间。如果在Elasticsearch或Kibana中没有设置正确的时区，即使原始日志的时间戳是正确的，展示时也会因为时区转换错误而导致时间显示不正确

2、时区问题拆解

Elasticserch 默认时区是？能改吗？
官方文档强调：在 Elasticsearch 内部，日期被转换为 UTC时区并存储为一个表示自1970-01-01 00:00:00 以来经过的毫秒数的值。

Internally, dates are converted to UTC (if the time-zone is specified) and stored as a long number representing milliseconds-since-the-epoch.

https://www.elastic.co/guide/en/elasticsearch/reference/current/date.html

Elasticsearch date 类型默认时区：UTC。

正如官方工程师强调（如下截图所示）：Elasticsearch 默认时区不可以修改
在这里插入图片描述
https://discuss.elastic.co/t/index-creates-in-different-timezone-other-than-utc/148941但，我们可以“曲线救国”，通过：

ingest pipeline 预处理方式写入的时候修改时区；
logstash filter 环节做时区转换；
查询时指定时区；
聚合时指定时区。

Kibana 默认时区是？能改吗？
kibana 默认时区是浏览器时区。可以修改，修改方式如下：Stack Management -> Advanced Settings ->Timezone for data formatting.
在这里插入图片描述
Logstash 默认时区是？能改吗？

默认：UTC。可以通过中间：filter 环节进行日期数据处理，包括：转时区操作。
在这里插入图片描述

  • logstash 默认 UTC 时区。
  • Elasticsearch 默认 UTC 时区。
  • Kibana 默认浏览器时区，基本我们用就是：东八区。
  • 如果基于Mysql 同步数据，Mysql 数据是：东八区。

3、填坑实战与解决方案

基于上面的分析，如何解决时区问题呢？。
实战项目中，时间问题就转嫁为：写入的时候转换成给定时区（如：东8区）就可以。
1、查看机器的时区和日志

/ # date
Mon Apr 15 11:21:29 CST 2024

在这里插入图片描述
2、Filebeaet 收集配置

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /app/logs/app/*.log
  multiline.pattern: ^\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2}[.,:]0{0,1}\d{3}
  multiline.negate: true
  multiline.match: after
  fields:
    logtype: ${LOGTYPE:app}

fields_under_root: true
fields:
  ip: ${POD_IP}

output.logstash:
  hosts: ["logstash-server.default.svc.cloudcs.fjf:5044"]

3、logstash 中间 filter 环节处理
数据源端：APP日志；
数据目的端：Elasticsearch；
同步方式：logstash，本质借助：logstash_input_jdbc 插件同步；
时区处理：logstash filter 环节 ruby 脚本处理。

{"@timestamp":"2024-04-15T10:48:34.518811962+08:00","severity":"INFO","service":"cat-outer-gateway","trace":"","span":"","parent":"","exportable":"","pid":"1","thread":"reactor-http-epoll-2","class":"c.fujfu.gateway.filter.CallBackUriFilter","rest":"path:/cat-payment-dock/api/minSheng/notify,method:POST\n"}
{"@timestamp":"2024-04-15T10:55:29.711692942+08:00","severity":"INFO","service":"cat-outer-gateway","trace":"","span":"","parent":"","exportable":"","pid":"1","thread":"reactor-http-epoll-4","class":"c.fujfu.gateway.filter.CallBackUriFilter","rest":"path:/cat-payment-dock/api/minSheng/notify,method:POST\n"}

2024-04-15 11:32:57.582  INFO [HzgDfyOvQqCH4DsY5Al7Jw] 1 --- [nio-8050-exec-9] c.f.f.s.impl.FpProductCfgServiceImpl     : capitalId:1724007481146916866-该用户渠道被限制，channelCodeList:[huawei, oppo, vivo, xiaomi, yingyongbao, yingyongbaotuiguang, Android_oppo, Android_yingyongbao, Android_huawei, Android_xiaomi, FYH-rongyao, FYH-vivo, FYH-xiaomi, FYH-huawei] ,userReqVO.getRegisterChannel():huawei
2024-04-15 11:32:57.695  INFO [TtPg4TgCQI+MFkLxSCZzMA] 1 --- [nio-8050-exec-2] c.f.f.s.f.request.JUZIFundProductCaller  : 【桔子数科】请求明文：https://api-gateway.jzhlkj.com/bus/standard/credit/queryQuota，参数：{"channelUid":"29443d29067c4182baec1115026cf8d5"}

下方的脚本就实现收集上方两种日志格式 和 写入的时候转换成给定时区这个功能。

date 的数据 就是 东八区 的时间。我直接把 东八区的时间 写入@timestamp 在传入到ES（东八区） 。然后在 Kibana中访问 也是东八区，形成一个闭环

    input {
      beats {
        port => 5044
      }
    }

    filter {
      if [fields][json] == "true" {
        json {
          source => "message"
          remove_field => ["message","agent","tags","ecs"]
          add_field => {
            "loglevel" => "%{[severity]}"
          }
        }
      } else if [fields][logtype] == "powerjob" {
        grok {
          match => { "message" => "%{TIMESTAMP_ISO8601:date} \s{0,1}(?<severity>.*?) (?<pid>.*?) --- \[(?<thread>.*?)\] (?<class>.*?) \s*: (?<rest>.*+?)" }
          remove_field => ["message","agent","tags"]
          add_field => {
            "loglevel" => "%{[severity]}"
          }
        }
        mutate {
          update => { "[fields][logtype]" => "logstash" }
        }
      } else {
        grok {
          match => { "message" => [
                    "%{TIMESTAMP_ISO8601:date} (?<loglevel>.*?)\s{1,2}\| \[(?<threadname>.*?)\] (?<classname>.*?) \[(?<codeline>.*?)\] \| \[(?<traceid>.*?)\] \| (?<msg>.*+?)",
                    "%{TIMESTAMP_ISO8601:date} (?<loglevel>.*?)\s{1,2}\| \[(?<threadname>.*?)\] (?<classname>.*?) \[(?<codeline>.*?)\] \| (?<msg>.*+?)",
                    "\[%{TIMESTAMP_ISO8601:date}\] \[(?<loglevel>.*?)\s{0,2}\] \[(?<threadname>.*?)\] (?<classname>.*?) (?<codeline>.*?) - (?<msg>.*+?)",
                     "%{TIMESTAMP_ISO8601:date} \[(?<threadname>.*?)\] (?<loglevel>.*?)\s{0,2} (?<classname>.*?) (?<codeline>.*?) - (?<msg>.*+?)",
                     "\[%{TIMESTAMP_ISO8601:date}\] \[\s{0,2}(?<loglevel>.*?)\] \[(?<threadid>.*?)\] \[(?<threadname>.*?)\] \[(?<classname>.*?)\] : (?<msg>.*+?)"
                   ]}
          remove_field => ["message","agent","tags"]
        }
      }
      ruby {
        code =>'
        arr = event.get("host")["name"].split(".")[0]
        event.set("projectname",arr)
        '
      }
      date {
        match => ["date","ISO8601","yyyy-MM-dd HH:mm:ss.SSS"] #获取date的时间
        target => "@timestamp" # 复制给@timestamp 字段
        timezone => "Asia/Shanghai" # 设置 上海地区
      }

    }
    output {

      elasticsearch {
        hosts => ["elasticsearch-log.prod.server.fjf:9200"]
        user => "xxxxx"
        password => "xxxxx"
        manage_template => false
        index => "%{[fields][logtype]}-prod-%{+YYYY.MM.dd}"
      }
    }

修改前

在这里插入图片描述

修改后
在这里插入图片描述

在这里插入图片描述

4、总结

数据写入时间不一致、数据滞后8小时等时区问题的本质是：各个处理端时区不一致，写入源的时区、Kibana默认是本地时区（如中国为：东8区时区），而 logstash、Elasticsearch 是UTC时区。

参考文档：https://www.cnblogs.com/fat-girl-spring/p/15122906.html

南宫乘风
关注
  • 8
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
企业级日志分析系统 ELK 详解
shenyuanhaojie的博客
11-19 2129
文章目录前言一、ELK 日志分析系统1. ELK 简介2. 组件说明2.1 ElasticSearch2.2 Logstash2.3 Kibana2.4 Filebeat3. 完整日志系统的基本特征4. ELK的工作原理二、部署 ELK 日志分析系统1. 服务器配置2. 关闭防火墙3. ElasticSearch集群部署（node1、node2）3.1 环境准备3.2 部署 ElasticSearch 软件3.2.1 安装 elasticsearch-rpm 包3.2.2 加载系统服务3.2.3 修改 el
ELK解决8小时的时间误差
08-01
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
使用 ELK 收集日志
码农UP2U
09-15 4122
在这种情况下，ELK 为我们提供了统一的日志管理解决方案，它能很好的支持 Logback 等日志框架，使得我们可以集中的管理不同应用输出的日志信息。创建完成后，返回 Kibana 的首页，选择 Discover 选项，切换到我们新建的 logstash-* 选项下，然后选择时间段，就可以看到相应的日志信息了。在上图中应用日志框架直接将日志发送给 Logstash，然后 Logstash 将接收的日志写入 ElasticSearch 中，开发人员通过可视化的 Kibana 可以进行日志的查询和分析。
ELK日志收集系统简述
wuds_158的博客
06-09 2528
在每台服务器上部署logstash实例，对日志进行收集或处理后输出到elasticsearch、elasticsearc进行存储、索引，kibana关联索引，展示、分析数据，这种架构是常见的构架，缺点是在每台服务器上要部署logstash实例，而且还得依赖jdk，所以跑起来比较重，对资源消耗比较大，另外es是单个节点，存在单点故障，所以这种架构比较适合日志数据不大、机器少的场景.2、它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
ELK之Logstash解析时间相差8h的问题
一掬净土
11-12 1206
而logstash解析的时间为与实际时间想差8h。
ELK日志收集
u010864567的博客
04-16 5197
搭建ELK ELK是由elasticsearch、logstash、kibana三个开源软件组成的一个组合体，ELK是elastic公司公司研发的一套完整的日志收集、分析和展示的企业级解决方案，在这三个软件当中，每个软件用于完成不同的功能，官方域名为elastic.io，ELK stack的主要优点： 处理方式灵活：elasticsearch是实时全文索引，具有强大的搜索功能 配置相当简单：elasticsearch的API全部使用JSON接口，logstash使用模块配置，kibana的配置文件部分
ELK日志采集实战教程
01-27
带着问题去看教程：不是用logstash来监听我们的日志，我们可以使用logback配置来使用TCPappender通过TCP协议将日志发送到远程Logstash实例。我们可以使用Logstash指向多个日志文件。我们可以在logstash配置文件中...
ELK企业日志分析系统部署实战！理论+实战！
01-09
二：ELK部署实战2.1：环境介绍2.2：实验拓扑图2.3：实验过程2.3.1：开局优化2.3.2：node1与node2部署elasticsearch软件2.3.3：node1和node2安装elasticsearch-head插件2.3.4：apache服务器部署logstash相关2.3.4：n
企业运维实战 ELK日志分析平台 Kinaba （Kibana安装、Kinaba安全认证、Kinaba监测）
08-11
在企业运维实战中，ELK 日志分析平台 Kinaba 是一个非常重要的组件，它由三部分组成：Elasticsearch、Logstash 和 Kibana。Kinaba 是 Kibana 的中文名称，它是 ELK 栈中最重要的组件之一。 Kibana 安装 Kibana 是 ...
时区介绍
Golang客栈
06-08 2266
什么是时区 时区是地球上的区域使用同一个时间定义。为了照顾到各地区的使用方便，又使其他地方的人容易将本地的时间换算到别的地方时间上去。1884年的国际经度会议规规定将地球表面按经线从南到北划分为24个时区，并且规定相邻区域的时间相差1小时。当人们跨过一个区域，就将自己的时钟校正1小时（向西减1小时，向东加1小时），跨过几个区域就加或减几小时。 地球自西向东旋转，东边比西边先看到太阳，东边的...
ELK---日志收集系统
dingshun129的博客
01-03 3288
ELK—日志收集系统 1.要收集哪些日志？ ①系统日志–为监控做准备 ②服务日志–数据库–MySQL–慢查询日志、错误日志、普通日志 ③业务日志–log4j（必须要收集的是业务日志） 注：log4j—Java类的数据业务日志 （1）要有针对性的去收集 （2）调整日志级别 2.日志收集后，如何展示？（可视化） ①kibana ②grafana 3.日志收集展示出来后，怎么使用？ ①用于给大数据进行分析，作为立体化展示的数据源 ②给研发使用（排障、解决bug等等） ③统计数据流量、作为分析报告的数据源 ELK工
【Linux-ELK】安装部署文档（含数据备份与恢复）
琴韵悠悠
07-30 2975
【Linux ELK】安装部署文档
ELK实现日志收集
core815的专栏
12-06 781
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。
Elasticsearch及ELK使用（二）：日志数据采集
zyplanke的专栏
06-26 4439
上一篇结束了Elasticsearch和kibana的安装和基本使用。本文介绍日志数据采集（也叫日志采集），涉及filebeat的软件和logstash软件。 本文分别介绍了从日志文件采集和从数据库（MySQL）中采集。
ELK 日志系统收集K8s中日志
weixin_48190863的博客
04-09 2295
• K8s弹性伸缩性：导致不能预先确定采集的目标• 容器隔离性：容器的文件系统与宿主机是隔离，导致日志采集器读取日志文件受阻。
SpringBoot应用整合ELK实现日志收集
最新发布
weixin_42907150的博客
02-02 1029
ELK即Elasticsearch、Logstash、Kibana,组合起来可以搭建线上日志系统，本文主要讲解使用ELK来收集SpringBoot应用产生的日志。搭建了ELK日志收集系统之后，我们如果要查看SpringBoot应用的日志信息，就不需要查看日志文件了，直接在Kibana中查看即可。
ELK日志收集安装部署
qq_45429357的博客
07-14 1206
收集日志
ELK logstash日志收集与过滤
qq_39738963的博客
12-03 1164
logstash日志过滤与收集测试
logstash输出到elasticsearch
06-28
### 回答1： Logstash可以将处理过的数据输出到Elasticsearch中，实现数据的存储和检索。具体的步骤如下： 1. 在Logstash的配置文件中，添加Elasticsearch的输出插件，指定Elasticsearch的地址和索引名称等参数。 2. 启动Logstash，它会读取指定的数据源，对数据进行处理，并将处理后的数据输出到Elasticsearch中。 3. 在Elasticsearch中，可以使用Kibana等工具进行数据的可视化和检索。 总的来说，Logstash和Elasticsearch是一对非常强大的组合，可以帮助我们快速构建数据处理和检索系统。 ### 回答2： Logstash是一个用于数据收集、处理和转换的工具，可以从不同的源获取数据并将其输出到各种目标存储。而Elasticsearch则是一个开源的分布式搜索引擎，它能够在高效、安全、可伸缩的基础上索引与搜索海量实时数据。 Logstash输出到Elasticsearch，是一种常见的数据处理和存储的方案，也是Elastic Stack（ELK）的一部分。这种方案可以结合多个数据源和数据格式，并通过logstash进行数据转换和处理，最终将收集的数据存储到Elasticsearch中，同时在Kibana中进行数据展示和分析。 为了实现这种方案，需要在Logstash中配置Elasticsearch插件，通过设置输出插件的类型和参数来指定Elasticsearch作为输出目标。在数据从不同源收集后，Logstash会将其进行过滤和转换处理，然后将处理后的数据输出到Elasticsearch中。 当数据存储到Elasticsearch中后，可以使用Kibana进行数据展示和分析。通过Kibana的图表和仪表盘 ，我们可以对数据进行实时监控，进行查询分析和可视化。同时，Elasticsearch还具有高效、可伸缩的实时搜索和分布式存储特性，可以支持海量数据的存储和查询。 总的来说，Logstash输出到Elasticsearch是一个实现实时数据收集和分析的强大工具和技术，可以帮助我们更好的理解数据，以便做出更好的决策和优化业务。 ### 回答3： Logstash是一种开源数据收集引擎，可以将不同来源的数据进行过滤、转换和聚合，最终输出到不同目的地。其中，输出到Elasticsearch是最常见的用例之一。 首先，我们需要安装和配置Logstash和Elasticsearch。Logstash的配置文件中需要指定输出插件为Elasticsearch，并配置Elasticsearch的IP地址和端口等参数。例如： ``` output { elasticsearch { hosts => ["127.0.0.1:9200"] index => "myindex-%{+YYYY.MM.dd}" } } ``` 上面的配置表示将数据输出到本地的Elasticsearch实例，并将索引的名称设为“myindex-年月日”的格式，可以实现按天切分索引，方便后续的查询和维护。 在Logstash中，我们可以使用不同的插件对数据进行处理和转换，以满足不同的需求。比如，使用grok插件将日志中的格式化信息提取出来，使用date插件解析时间戳等等。这些插件都可以在Logstash的插件库中找到，也可以自己编写插件满足特定的需求。 在输出到Elasticsearch时，Logstash会将数据转化为JSON格式，并根据指定的索引名称和类型进行索引。Elasticsearch提供了强大的搜索和聚合功能，可以对数据进行复杂的查询和分析。同时，Elasticsearch也支持分布式架构，可以横向扩展以处理海量数据和高并发量。 总之，Logstash输出到Elasticsearch是一种非常方便和实用的数据处理和分析方案，实现了数据的集中化和可视化，可以帮助我们更好地理解和利用数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南宫乘风

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值