基于dinky task udf完成flink CDC数据同步

1.应用场景

多业务系统在做数据迁移时,需要兼容各个系统的业务需求,需要自动生成并填充一些数据,比如需要生成雪花id,这是flink sql内置函数无法实现的,则需要自定义函数实现;如果使用原生的flink sql实现需要自己编写代码并打成jar,比较繁琐。然而dinky工具只需要你编写业务逻辑代码,自动打包运行操作简单。

2.在dinky中创建作业,作业类型选Java或者Scala或者Python。如下图所示:

3.创建flink sql任务,如下图所示:

4.问题回顾

   4.1 dinky 存在问题:

       a. dinky重启后,UdfCodePool中UDF代码丢失,解决方法,系统启动初始化查询条件有问题,如下图:

      

     b. dinky代码缺少,需要补充。

    

    

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yongge

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值