数仓实时数据同步debezium实践踩坑

debezium 1.2 在mysql的测试过程中

• 日期解析报错。因为mysql的日期时间可以随便写，而java必须是1970-01-01 00:00:00及以后的。生产上很多默认写的0000-01-01 01:01:01。需要修改源码匹配无效时间全部改为1970-01-01 00:00:00。
• 时区差异，内部转换写死使用的utc，无法更改。并且datetime被转为timestamp微秒数值,timestamp被转为timestamp_with_zone字符串,time被转为微秒数，date被转为微秒数，比较混乱。开发一个transformation校正时区，所有日期时间类型全部转为表示日期时间的字符串。
• 如果只获取同步表的ddl，任务添加新表会由于找不到schema而报错,可以删除history的topic，再使用schema_only_recovery。如果获取所有表的ddl，history topic又会更大。这里可以优化一下。