数据湖
文章平均质量分 89
Dreammmming Time
人啊,毕业时意气风发,进入社会后就逐渐钝化了,因此希望通过知识分享和新知识学习,在大数据领域彼此勉励,共同成长,拒绝被环境束缚。
展开
-
Iceberg:ZOrder的实现及执行流程分析
使用Z-Order索引,可以按任意维度对数据进行排序,以获得更加高效且均衡地范围查询。它即可以作为一级索引,直接影响底层数据组织形式,甚至可以取代二索引(更加节省内存,吞吐量也理更高)。相比于传统的按的顺序的自然排序策略,一旦过滤条件与排序键的前缀匹配模型冲突,数据查找空间就会膨胀,进而影响查询性能,而ZOrder由于会考虑每个维度的值,将数据按排列,因此即使查询时不满足最优条件匹配模型,也不会导致查询空间的过度膨胀。原创 2023-12-23 17:41:17 · 1196 阅读 · 0 评论 -
Iceberg:基于Spark3.x的MERGE INTO语法实现数据的增量写入
/ 新旧数据记录,Merge阶段,会为每一个结果行添加一个新的列,其列名就这个常量。原创 2023-02-18 14:42:19 · 1732 阅读 · 0 评论