![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据湖
文章平均质量分 94
Leonardo_KY
Learning by doing!
展开
-
Flink+Paimon多流拼接性能优化实战
Flink+Paimon多流拼接性能优化实战,本文使用Flink+Paimon基于ParmaryKey Table主键表(PartialUpdate)进行多流拼接的时候,跑一段时间有时会遇到周期性背压、checkpoint时间过长等情况,本文通过剖析源码逻辑、修改源码,在一定程度上解决了这个问题。另外,还意外解决了跨分区关联率偏低的问题。原创 2023-08-31 16:55:30 · 2907 阅读 · 7 评论 -
基于数据湖的多流拼接方案-HUDI实操篇
基于数据湖的多流拼接方案-HUDI实操篇,包含一些代码样例、简单demo;以及到生产实操之后可能会出现的问题及解决方案。原创 2023-08-28 20:48:07 · 651 阅读 · 3 评论 -
基于数据湖的多流拼接方案-HUDI概念篇
基于数据湖的多流拼接方案-HUDI概念篇,包含Hudi的一些基本概念和原理、使用场景,已经一些相关参考资料。(后续会更新Hudi的实战内容)原创 2023-08-24 21:09:08 · 1087 阅读 · 0 评论 -
新一代数据湖存储技术Apache Paimon入门Demo
新一代数据湖存储技术Apache Paimon(Flink Table Store)入门Demo,本文给出了一些简单的flink-paimon样例(example),可供快速学习上手(文中所有代码均已跑通)。原创 2023-05-22 10:21:25 · 10361 阅读 · 13 评论