- 博客(2)
- 资源 (10)
- 收藏
- 关注
原创 将mysql中时间类型的字段导入hive中遇到的坑(时间错啦)
一、问题发现与分析问题:用公司的大数据平台(DataX)导数,已经开发上线一个多月的一批报表,突然有同事说有个报表数据不准。出在时间字段上。分析:1、先看了原数据MySQL字段类型为datetime,目标字段为timestamp类型;2、经发现所有时间的差距都是8小时,怀疑是因为时区转换的原因;3、对比其他表,看看是大范围现象还是特殊情况,发现其他的同样情况字段的一样没有问题,也有改变...
2019-11-12 20:45:49 5557
原创 在数据库处理中数字与字符串之间比较的坑(hive VS mysql )
数字与字符串之间比较的坑(hive&mysql )背景MySQLhive背景在工作中遇到了同样的SQL在hive和MySQL执行后所得总数对不上,但是抽样执行都是一致的。最后发现问题出在hive和MySQL在数字和字符串比较时是不一样的。MySQL在MySQL中,字符串和数字比较是自动转化为数字,如果开头没有数字就转化为0:字符串(数值)与数值比较 ,与数值比较没有差别:m...
2019-11-11 20:26:16 7038
singers-sub.csv
2020-09-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人