1.应用场景
多业务系统在做数据迁移时,需要兼容各个系统的业务需求,需要自动生成并填充一些数据,比如需要生成雪花id,这是flink sql内置函数无法实现的,则需要自定义函数实现;如果使用原生的flink sql实现需要自己编写代码并打成jar,比较繁琐。然而dinky工具只需要你编写业务逻辑代码,自动打包运行操作简单。
2.在dinky中创建作业,作业类型选Java或者Scala或者Python。如下图所示:
3.创建flink sql任务,如下图所示:
4.问题回顾
4.1 dinky 存在问题:
a. dinky重启后,UdfCodePool中UDF代码丢失,解决方法,系统启动初始化查询条件有问题,如下图:
b. dinky代码缺少,需要补充。