Flink基于Hudi维表Join缺陷解析及解决方案，2024年最新附高频面试题合集

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

在章节1中我们分析了代码可能存在的问题原因，那么怎么解决呢？对于FlinkSQL来说，关联维表最好的方式是通过Lookup Join方式关联外部最新维度数据。

1 方案一

针对商品表在hbase创建商品维表，同时装载历史数据，然后通过流写入hudi维表外同时写入Hbase一份数据。伪代码如下：

为什么要创建hbase维表？

• hudi表的数据文件从hdfs上看也是普通的parquet或者log格式，这种格式存储数据本质上来说对于批量分析比较友好，但对于向单行数据的快速扫描性能比较低。这一点是由存储结构造成的。
• hbase表结构对于单行rowkey访问友好，但对于批处理不友好；
• 基于上面两点，我们只能选择在存储层通过存储两份不同格式的数据来解决批处理和单行访问之间差异的问题。

-- Hudi订单事实表
create table hudi.dwd_ord_order_info_dd(
    order_id       bigint,
    product_id     bigint,
    order_amount   double,
    order_time     timestamp(3),
    dt             string 
) partitioned by(dt)
with (
    'connector'='hudi',
    'path' ='hdfs://hadoop:8020/dw/dwd_ord_order_info_dd',
    'table.type'='MERGE_ON_READ',
    'hoodie.datasource.write.recordkey.field' = 'order_id',
    'hoodie.datasource.write.precombine.field' = 'order_time',
    ......
);
​
-- Hudi产品维表 
create table hudi.dim_product(
    product_id       bigint,
    product_name     string,
    category         string,
    create_time      timestamp(3),
    dt               string 
) partitioned by(dt)
with (
    'connector'='hudi',
    'path' ='hdfs://hadoop:8020/dw/dim_product',
    'table.type'='MERGE_ON_READ',
    'hoodie.datasource.write.recordkey.field' = 'product_id',
    'hoodie.datasource.write.precombine.field' = 'create_time',
    ......
);
​
-- Hbase产品维表 
create table hbase.dim_product(
    product_id       bigint,
    product_name     string,
    category         string,
    create_time      string,
    dt               string 
) partitioned by(dt)
with (
    'connector'='hbase',
    ......
);
​
insert into hudi.dwd_ord_order_info_dd select ...;
create view tmp_product as ...;
insert into hudi.dim_product select * from tmp_product;
insert into hbase.dim_product select * from tmp_product;
​
​
set table.exec.state.ttl = 8192s;
insert into hudi.dws_ord_order_info_dd 
select *
from hudi.dwd_ord_order_info_dd t1 
left join hudi.dim_product t2 on t1.product_id = t2.product_id 
left join hbase.dim_product for system_time as of t1.order_time t3 on t1.product_id = t3.product_id 
;

通过订单流数据同时关联hudi.dim_product和以Lookup Join方式关联相同的hbase.dim_product表方式可以解决维度延迟和历史数据关联问题，很好解决由于维度数据状态不全导致数据质量问题。

这种方式有以下两个缺点：

• 存储层面: 维表数据要存储两份数据(hudi本身存储一份全量数据，hbase也需要存储一份全量数据)。
• ETL层面: ETL代码要多维护一份维度数据写入hbase的关系，对于代码整洁不友好。

2 方案二

这个方案侧重于在存储层解决SQL Join问题，但有个前提，不同子SQL都需要有相同的主键设置才可用，同样，这种方案也涉及源码改造，主要技术点在于Hudi payload的源码改造，具体的实现这里不介绍。

3 方案三

三 总结

在生产上遇到这种SQL 维表Join场景问题，可以采用方案一进行处理，如果团队技术比较强大，那么可以考虑方案二落地，方案三非技术大牛坐镇，不建议改造。这里对方案二三不做详细介绍，待后续更新，敬请关注。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

链图片转存中…(img-eLIipAKd-1713284672376)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！