logstash同步数据到ES时间时区
假如mysql定义的mytime为datetime类型,如
mytime datetime NOT NULL DEFAULT '0000-00-00 00:00:00',
采用logstash同步该表数据存在时间相差8小时的问题。
mysql中体现的 "mytime ": "2018-07-01 10:28:39"
ES中体现的 "mytime ": "2019-07-01T02:28:39.000Z",存储类型type为date
存在时区问题,东八区,ES中时间需要+8小时
改进措施1
将mysql中的mytime类型在logstash中作一个转换
statement => "select *, DATE_FORMAT(mytime,'%Y-%m-%d %T') as myctime from mytable where id >:sql_last_value"
ES中将体现的 "mytime ": "2018-07-01 10:28:39",存储类型type为text
改进措施2
将mysql中的mytime数据在logstash中作一个8小时追加
filter{ ruby
{
code => "event.set('mytime', event.get('mytime').time.localtime + 8*60*60)"
}}