logstash同步数据到ES时间时区

logstash同步数据到ES时间时区

  假如mysql定义的mytime为datetime类型，如

  mytime datetime NOT NULL DEFAULT '0000-00-00 00:00:00',

  采用logstash同步该表数据存在时间相差8小时的问题。

mysql中体现的 "mytime ": "2018-07-01 10:28:39"

ES中体现的      "mytime ": "2019-07-01T02:28:39.000Z"，存储类型type为date

存在时区问题，东八区，ES中时间需要+8小时

改进措施1

将mysql中的mytime类型在logstash中作一个转换

statement => "select *, DATE_FORMAT(mytime,'%Y-%m-%d %T') as myctime from mytable where id >:sql_last_value"

ES中将体现的      "mytime ": "2018-07-01 10:28:39"，存储类型type为text

 

改进措施2

将mysql中的mytime数据在logstash中作一个8小时追加

filter{ ruby 
        { 
            code => "event.set('mytime', event.get('mytime').time.localtime + 8*60*60)" 
        }}