hudi
文章平均质量分 61
shursulei
个人github:https://github.com/shursulei/
展开
-
浅谈hudi 的callback回调机制
浅谈hudi 的callback回调机制原创 2022-12-15 17:19:08 · 755 阅读 · 1 评论 -
基于阿里云产品和开源Hudi结合
基于阿里云产品和开源Hudi结合 本人最近对公司内部数据技术架构做了梳理,梳理了当下的一些痛点。 1、离线线路,数据更新慢;实时线路,只针对部分场景,实时的成本比较大。 2、lambda的架构方式,针对数据源,实时方案和离线方案各会进行一次同步。 基于业界对于数据湖已经有很多的实践,而目前公司的技术体系为Maxcompute+阿里云flink的技术栈,由此针对该方案做了一些改动。 业界数据湖开源的产品主要以hudi/Iceberg/Delta,由于公司本身技术栈的限制,以及众多原因(不具体介绍),最后采用了原创 2022-04-20 18:06:23 · 1551 阅读 · 0 评论