本次问题和解决办法由@蕉下客提供
问题背景:
使用idea进行开发,mysql作为数据源,读取到的数据时间信息与真实时间相差八小时
分析:
问题原因是时区没有设置东八区或者上海时间
解决办法:
在idea中设置时区
开发过程:
1、在presto中查询mysql数据
2、在zeppline查询mysql
3、在idea中查询mysql
4、在spark-shell中查询mysql
总结:
使用idea等开发工具进行数据开发时,可能会因为设置的原因,在读取时间数据类型时,会进行转换,转化过程中就会发生时区问题,类似的还有clickhouse等,所以遇到此类问题,解决方式:1、当前结果和原数据比对;2、ide设置时区;3、开发框架是否可以设置时区