数据湖
文章平均质量分 74
风筝Lee
儿时,你是父母手中的风筝;上学了,你是老师手中的风筝;工作了,你是领导手中的风筝;成家了,你是妻子手中的风筝;老时,你是子女手中的风筝。人生就像风筝,总有一根线牵着你,或长、或短,或紧、或松;你在这头,爱你的人就在那头。
展开
-
数据湖技术之平台建设篇2
数据湖技术之平台建设:一站式湖仓服务平台的相关管理能力、小文件相关处理原创 2024-01-28 20:53:34 · 384 阅读 · 0 评论 -
数据湖技术之应用场景篇
随着数据湖技术的不断成熟与稳定,后续会在越来越多的应用场景中帮助到业务解决实际问题,同时在降本增效方面的作用也会越来越明显原创 2024-01-28 21:40:12 · 860 阅读 · 0 评论 -
数据湖技术之平台建设篇1
融合数据湖技术,形成湖仓一体化平台,平台建设相关能力介绍。原创 2024-01-28 10:00:42 · 937 阅读 · 0 评论 -
数据湖技术之核心特性篇
湖仓一体化可以很好的去帮忙业务进行架构升级以及解决一些核心的痛点问题,而且在降本增效方面也有很大的优势原创 2024-01-28 08:27:04 · 217 阅读 · 0 评论 -
数据湖技术之发展现状篇
数据位置信息索引查找对于hudi 索引主要分为两大类:**非全局索引:**索引在查找数据位置信息时,只会检索当前分区的索引,索引只保证当前分区内数据做upsert。如果记录的分区值发生变更就会导致数据重复。**全局索引:**顾名思义在查找索引时会加载所有分区的索引,用于定位数据位置信息,即使发生分区值变更也能定位数据位置信息。这种方式因为要加载所有分区文件的索引,对查找性能会有影响(hbase 索引除外)。spark 索引实现主要有如下几种:布隆索引(BloomIndex),全局布隆索引.原创 2024-01-27 23:20:08 · 578 阅读 · 0 评论