kafka，flink与doris之间的日期转换，看这篇就够了。

1

项目背景

flink消费kafka，数据实时入仓导入doris。数据类型转换时经常报错：大多数都是时间类型转换错误。

Column types of query result and sink for registered table  do not match.

2

案例分析

案例：kafka数据格式为json类型，时间字段是整数类型，我们需要的doris的数据类型为datetime类型，而官网对应的flink列类型为timestamp，需要转。从flink官网找函数。

3

解决思路

熟记三句话，问题不要怕。一问数据源时间字段的数据类型是什么，二问最终需要的时间字段数据类型是什么，三问中间需要flink时间函数怎么转化？

来到flink官网，找日期转换函数。

思路：首先我们需要把flink的数据转化为timestamp类型，这样doris才能将其识别为datetime，但是TO_TIMESTAMP(string1[, string2])函数需要的实参为string类型，默认格式为“‘yyyy-MM-dd HH:mm:ss”，所以我们需要把kafka的整数类型转化为string类型，FROM_UNIXTIME(numeric[, string])函数可以解决，顺藤摸瓜，问题解决。

4

具体实现

flinkSql

doris表

5

笔记扩展

flink中的TO_TIMESTAMP_LTZ(numeric, precision)TO_TIMESTAMP(string1[, string2]) 和 TO_TIMESTAMP 函数有什么区别？

使用 TO_TIMESTAMP_LTZ(1234567890,3)将其转换自动转为本地时区的时间戳，并指定精度。3代表毫秒。而TO_TIMESTAMP 函数只是简单地将输入的时间戳解释为没有时区信息的时间。

                                                       

                                                                微信号｜M21992556

                                                 坚持分享，感谢关注，大家共同进步！