案例分享:LakeSoul 独有的 MergeOperator 功能

首先,附上 Github 链接LakeSoulhttps://github.com/meta-soul/LakeSoul,可搜索公众号元灵数智,在底部菜单了解我们 - 用户交流获取官方技术交流群二维码,进群与业内大佬进行技术交流。

近日,LakeSoul 研发团队帮助用户解决了一个使用 Hudi 过程中遇到的实际的业务问题,在这里做个总结记录。大体业务流程是上游系统从线上 DB 表中抽取原始数据转换成 json 格式,写入 Kafka ,下游使用 Spark 读取 Kafka 中的消息,原先使用 Hudi 将数据更新聚合后,发送给下游数据库分析。

在使用过程中发现,Kafka里面的部分数据只有原始表中某些字段。Kafka中数据样例:{A:A1,C:C4,D:D6,E:E7} {A:A2,B:B4,E:E6} {A:A3,B:B5,C:C

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值