通过logstash 从MYSQL增量同步到Elasticsearch 时区问题

通过logstash  从MYSQL增量同步到Elasticsearch 时区问题

 

1、mysql的时区为 

show variables like '%time_zone%';

 

2、针对连接MYSQL时区指定的时区，

jdbc_connection_string => "jdbc: mysql://172.17.0.3:3306/test?useSSL=false&serverTimezone=Asia/Shanghai"

对于查询而言不起作用。只针对插入时间时有用

 

 

3、logstash 和 elasticsearch 默认使用时间都为 UTC时间：

https://blog.csdn.net/weixin_34095889/article/details/93007352

 

 

4、查询语句

SELECT * from user_info where update_time > :sql_last_value

执时时， :sql_last_value 传入的值为UTC时间。比数据库中存储的时间的时区早8个小时

logstash日志显示如下：

(0.001188s) SELECT * from user_info where update_time > '2020-01-13 11:03:10'

 

5、问题如下：

坏处是，这样子查询，会多查从现在提前8个小时的数据。导致同步到ELASICSEACH，也会重复同步这8个小时的数据(配置了通过主键去重的除外)

 

6、解决办法是：

将  :sql_last_value 转换为 北京时区。如下：

    statement => "SELECT * from user_info where update_time > CONVERT_TZ(:sql_last_value,'+00:00','+08:00')"

 

7、完整的配置如下：

input {

  jdbc {

    jdbc_driver_library => "/usr/share/logstash/config/mysql-connector-java-5.1.47.jar"

    jdbc_driver_class => "com.mysql.jdbc.Driver"

    jdbc_connection_string => "jdbc: mysql://172.17.0.3:3306/test?useSSL=false&serverTimezone=Asia/Shanghai"

    jdbc_user => "root"

    jdbc_password => "Lp430121"

    schedule => "* * * * *"

    statement => "SELECT * from user_info where update_time > CONVERT_TZ(:sql_last_value,'+00:00','+08:00')"

    jdbc_default_timezone => "UTC"

  }

}

output {

  elasticsearch {

    hosts => [ "192.168.2.20:9200" ]

    index => "userinfo"

    document_id => "%{id}"

  }

}

 

 

8、验证：

logstash日志如下：

(0.001385s) SELECT * from user_info where update_time > CONVERT_TZ('2020-01-13 11:25:10','+00:00','+08:00')