工作中使用到阿里的数据同步工具Datax,发现除了不支持redis作为读写的数据源之外,支持几乎所有常见类型的数据源
在使用过程中遇到了几个问题,这里记录一下:
ps:Datax的使用方法不做介绍。
问题场景:
1、数据从MySQL同步到 HDFS ,最终用hive进行使用,发现字段值为时间的数值在同步过程中会出现八小时差值
解决方法:mysqlreader的jdbcUrl参数指定时区,如:
jdbc:mysql://127.0.0.1:3306/user?serverTimezone=Hongkong
2、数据从HDFS同步到MySQL,有个timestamp类型字段显示为‘0000-00-00 00:00:00’
解决方法:因为这个字段是MySQL自动更新的(DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENR_TIMESTAMP),所以同步时忽略这个字段,让MySQL自动生成;
这里我还踩了一个坑,建的hive表把这个字段值处理了一下,cast(null as timestamp),这是错误做法