flink sql-client 使用记录

weixin_40455124

已于 2022-11-11 08:20:22 修改

阅读量1.1k

点赞数

分类专栏：大数据文章标签： sql-client flink timestamp mysql 提交

于 2021-07-14 23:19:29 首次发布

本文链接：https://blog.csdn.net/weixin_40455124/article/details/118738622

版权

大数据专栏收录该内容

79 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文记录了使用Flink SQL Client处理Kafka JSON消息，进行窗口计算并存储到MySQL的过程。遇到的问题包括timestamp格式设定、Kafka版本匹配、缺失的jar包、MySQL对timestamp和count(*)查询的支持限制，以及Flink作业的数据提交策略。解决方案包括正确配置watermark、选用兼容的Kafka和MySQL连接器、调整MySQL字段格式、使用count(column)替代count(*)，以及设置checkpoint确保数据持久化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在尝试使用flink sql进行

读取json 格式kafka消息
对消息内容进行group window 计算
将计算结果保存到mysql表中

遇到一些坑，记录下来。

timestamp格式

watermark的timestamp格式

[ERROR] Could not execute SQL statement. Reason:
org.apache.flink.table.api.ValidationException: Invalid data type of time field for watermark definition. The field must be of type TIMESTAMP(p) or TIMESTAMP_LTZ