Flink问题总结

  1. FlinkException: Failed to validate any of the configured directories to moni

flink1.9关联hadoop配置需要上传flink-shaded-hadoop-3-uber-3.1.1.7.0.3.0-79-7.0.jar包到/opt/cloudera/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0/lib/flink/lib,否则安装不上

 2. 出现join左边后到,右边先到,导致没有数据

 3. flink sql数据有比较大的延迟

在使用canal+kafka+flink sql+mysql框架中,

现象: 经过我开发测试,从数据发生改变,1s内任务运行完;

测试人员测试的过程中,发现我的任务需要4-5s才能完成任务;

经过我猜测,开发人员开发的时候,update_time不是最新的时间,经过验证,我的猜测是对的;

后来任务还是需要4-5s才能完成,

并且加班排查,发现是开发人员的事务导致,问题我模拟了一下:

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值