基于阿里云产品和开源Hudi结合

基于阿里云产品和开源Hudi结合
本人最近对公司内部数据技术架构做了梳理，梳理了当下的一些痛点。
1、离线线路，数据更新慢;实时线路，只针对部分场景，实时的成本比较大。
2、lambda的架构方式，针对数据源，实时方案和离线方案各会进行一次同步。

基于业界对于数据湖已经有很多的实践，而目前公司的技术体系为Maxcompute+阿里云flink的技术栈，由此针对该方案做了一些改动。

业界数据湖开源的产品主要以hudi/Iceberg/Delta,由于公司本身技术栈的限制，以及众多原因(不具体介绍)，最后采用了hudi。方案图如下。

主要利用hudi的技术栈，依靠oss做数据存储，O表数据实时更新落到OSS上，基于阿里云的Maxcompute建立外部表，支持hive的离线方案，同时阿里云flink本身是内置支持hudi的。

方案测试:
1、目前源数据实时落OSS的，Maxcompute数据读取已经实现
2、flink基于hudi的路线也已经走通。

目前的场景倾向于用hudi做数仓O表

目前规划，flink基于hudi做实时数仓。

后续更新