湖仓一体化
文章平均质量分 55
Delt Lake、Hudi、Iceberg,flink等
qq94661360
这个作者很懒,什么都没留下…
展开
-
数据湖01:数据湖是什么?
Azure 的数据湖包括一切使得开发者、数据科学家、分析师能更简单的存储、处理数据的能力,这些能力使得用户可以存储任意规模、任意类型、任意产生速度的数据,并且可以跨平台、跨语言的做所有类型的分析和处理。数据湖通常是企业中全量数据的单一存储。但是在计划构建数据湖之前,搞清楚什么是数据湖,明确一个数据湖项目的基本组成,进而设计数据湖的基本架构,对于数据湖的构建至关重要。数据湖需要具备完善的数据管理能力(完善的元数据),可以管理各类数据相关的要素,包括数据源、数据格式、连接信息、数据 schema、权限管理等。转载 2022-12-21 11:35:47 · 220 阅读 · 0 评论 -
数据湖基础
数据湖的主要思想是对企业中的所有数据进行统一存储,从原始数据(源系统数据的精确副本)转换为用于报告、可视化、分析和机器学习等各种任务的目标数据。数据湖中的数据包括结构化数据(关系数据库数据),半结构化数据(CSV、XML、JSON等),非结构化数据(电子邮件,文档,PDF)和二进制数据(图像、音频、视频),从而形成一个容纳所有形式数据的集中式数据存储。数据湖10:新型大数据解决方案,数据湖如何建设?数据湖02:数据湖有哪些特征。数据湖04:数据湖技术架构演进。数据湖05:从数据仓库看数据湖。转载 2022-12-20 15:19:22 · 297 阅读 · 0 评论