数据湖系列文章

已于 2022-08-19 14:28:10 修改
阅读量1.9k 收藏 32
点赞数
分类专栏： 数据湖 文章标签： 数据湖 大数据
于 2022-07-24 10:53:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/younger_china/article/details/125956749
版权

        数据湖是一种在系统或存储库中以自然格式存储数据的方法，它有助于以各种模式和结构形式配置数据，通常是对象块或文件。数据湖的主要思想是对企业中的所有数据进行统一存储，从原始数据（源系统数据的精确副本）转换为用于报告、可视化、分析和机器学习等各种任务的目标数据。数据湖中的数据包括结构化数据（关系数据库数据），半结构化数据（CSV、XML、JSON等），非结构化数据（电子邮件，文档，PDF）和二进制数据（图像、音频、视频），从而形成一个容纳所有形式数据的集中式数据存储。

一、数据湖概念

        数据湖01：数据湖是什么？

        数据湖02：数据湖有哪些特征 

        数据湖03：AWS认为什么是数据湖？

        数据湖04：数据湖技术架构演进

        数据湖05：从数据仓库看数据湖

二、数据湖架构 

        数据湖06：Delta Lake原理和功能概述

        数据湖07：Apache Hudi原理和功能概述

        数据湖08：Apache Iceberg原理和功能介绍 

        数据湖09：开源框架DeltaLake、Hudi、Iceberg深度对比

三、数据采集引擎

        数据湖：海量日志采集引擎Flume        

        数据湖：数据库数据迁移工具Sqoop

        数据湖：数据集成工具DataX

        数据湖：数据集成工具Kettle

        数据湖：数据同步工具NiFi​​​​​​​

四、数据存储引擎

        存储调研：BeeGFS并行文件系统体系结构

        存储调研：Ceph分布式文件系统体系结构

        存储调研：GlusterFS分布式文件系统体系结构

        存储调研：Lustre并行文件系统体系结构

        存储调研：GPFS并行文件系统原理解析

五、数据计算引擎

        数据湖：流计算处理框架Flink概述

        数据湖：分布式开源处理引擎Spark

        数据湖10：新型大数据解决方案,数据湖如何建设?

YoungerChina
关注
  • 0
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
什么是数据湖？有什么用？看了这一篇你就明白了……
01-27
数据湖概念的诞生，源自企业面临的一些挑战，如数据应该以何种方式处理和存储。最开始，企业对种类庞杂的应用程序的管理都经历了一个比较自然的演化周期。最开始的时候，每个应用程序会产生、存储大量的数据，而这些数据并不能被其他应用程序使用，这种状况导致了数据孤岛的产生。随后数据集市应运而生，应用程序产生的数据存储在一个集中式的数据仓库中，可根据需要导出相关数据传输给企业内需要该数据的部门或个人。然而数据集市只解决了部分问题。剩余问题，包括数据管理、数据所有权与访问控制等都亟须解决，因为企业寻求获得更高的使用有效数据的能力。为了解决前面提及的各种问题，企业有很强烈的诉求搭建自己的数据湖，数据湖不但能存储
数据湖治理中心-数据治理方法论.pdf
12-07
数据湖治理中心-数据治理方法论
腾讯数据湖的元数据治理
04-02
腾讯数据湖的元数据治理
数据湖是什么？有什么优势？与数仓区别？未来的发展？
一个写湿的程序猿
03-31 6723
数据湖是什么？有什么优势？与数仓区别？未来的发展？一、什么是数据湖二、数据湖的发展三、数据湖有哪些优势四、数据湖应该具备哪些能力五、数据湖的实现遇到了哪些问题六、数据湖与数据仓库的区别七、为什么要做数据湖？区别在于？八、数据湖挑战九、湖仓一体十、目前有哪些开源数据湖组件 来源：大数据DT 一、什么是数据湖 数据湖是一种不断演进中、可扩展的大数据存储、处理、分析的基础设施；以数据为导向，实现任意来源、任意速度、任意规模、任意类型数据的全量获取、全量存储、多模式处理与全生命周期管理；并通过与各类外部异构数据
大数据架构师——数据湖技术（一）
yangwei2048的博客
07-07 3748
什么是数据湖？ 大数据为什么需要数据湖？ 数据湖技术之Iceberg Iceberg概念及特点 Iceberg数据存储格式 Iceberg特点 Iceberg数据类型 Hive 与 Iceberg 整合
数据湖入门
追求幸福，探索未知的博客
12-29 6401
学习资源来自 https://www.bilibili.com/video/BV16y4y1C7Po 文章目录课程目标前置技能一、数据湖概念[了解]1.1 企业的数据困扰困扰一：互联网的兴起和数据孤岛困扰二：非结构化数据困扰三：保留原始数据补充：什么是结构化？结构化数据非结构化数据半结构化数据1.2 数据湖的提出1.3 所以，数据湖是什么？1.4 为什么叫做数据的湖？1.5 数据仓库-数据集市-数据湖区别数据湖：数据仓库：数据集市：二、数据湖理论[了解]2.1 写时模式 VS 读时模式写时模式读时模式2.
浅谈数据湖
weixin_42345229的博客
06-18 692
以自己多年大数据工作经验针对数据湖进行浅显的理解
详解数据仓库数据湖及湖仓一体
xljlckjolksl的博客
06-13 3521
性能、成本方面极大提升（MaxCompute 完成了核心引擎的全面升级和性能跳跃式发展，连续三年刷新 TPCx-BigBench 世界记录），数据管理能力空前增强（数据中台建模理论、智能数仓），企业级安全能力大为繁荣（同时支持基于 ACL 和基于规则等多种授权模型，列级别细粒度授权，可信计算，存储加密，数据脱敏等），在联邦计算方面也普遍做了增强，一定程度上开始将非数仓自身存储的数据纳入管理，和数据湖的边界日益模糊。进入数据湖的数据可以是结构化的，也可以是半结构化的，甚至可以是完全非结构化的原始日志。
2万字，详解数据湖，概念、特征、架构、方案、场景以及建湖全过程（建议收藏）...
大数据星球-浪尖
02-22 2154
导读：最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？有没有成熟的数据湖解决方案？各大厂商的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？数据湖和大数据平台有什...
数据湖基本概念--什么是数据湖，数据湖又能干什么？为什么是Hudi
热门推荐
一个数据小开发的博客
04-06 2万+
数据湖概念首次于2010年被James Dixon在其博客帖子（Pentaho, Hadoop, and Data Lakes | James Dixon's Blog）中提及 ： 数据湖的权威定义（来自维基百科）：数据湖（Data Lake）是一个以原始格式存储数据的存储库或系统，它按原样存储数据，而无需事先对数据进行结构化处理。一个数据湖可以存储结构化数据（如关系型数据库中的表），半结构化数据（如CSV、日志、XML、JSON），非结构化数据（如电子邮件、文档、PDF）和...
什么是数据湖
Baron_ND的博客
09-14 3565
什么是数据湖？ 数据湖是一个集中式存储库，允许以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析 – 从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。 关于数据湖的定义确实是一个业界有较多争议的地方。狭义的数据湖指的是数据湖存储，即可以存放海量数据（各种格式）的地方，包括 Hadoop 的文件系统 HDFS 或者云上的对象存储系统 S3 都属于这个范畴。广义的数据湖除了数据湖存储，还包括数据湖的管理和分析，即提供一整
“数据湖”：概念、特征、架构与案例
阿里云技术
06-03 1万+
写在前面： 最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？阿里云有没有成熟的数据湖解决方案？阿里云的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？数据湖和大数据平台有什么不同？头部的云计算玩家都各自推出了什么样的数据湖解决方案？带着这些问题，我们尝试写了这样一篇文章，希望能抛砖引玉，引起大家一些思考和共鸣。感谢南靖同学为本文编写了5.1节的案例，感谢西壁的review。 本文包括七个小节：1、什么是数据湖；2、数据湖的基本特征；3、数据湖基本架构；4、各厂商的数据湖解决方案；
数据湖-产品介绍PPT.pptx
11-03
我根据个人工作经营整理的数据湖产品，目前正在以此创作软件产品。
数据湖建设解决方案-2022.pptx
06-07
数据湖建设解决方案-2022.pptx
数据湖详细解析.docx
01-28
数据湖详细解析.docx
数据湖概览
落幕7的博客
05-04 745
数据湖是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事先对数据进行结构化处理。一个数据湖可以存储结构化数据（如关系型数据库中的表），半结构化数据（如CSV、日志、XML、JSON），非结构化数据（如电子邮件、文档、PDF）二进制数据（如图形、音频、视频）。数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析 – 从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。
数据湖-2-数据湖的基本架构和各厂商的解决方案
qq_20466211的博客
11-09 660
数据湖的基本架构和各厂商的解决方案
《数据湖架构-Data Lake Architecture》精简
L
08-14 888
声明：本文仅代表一家之言。 “单向”数据湖 业务用户对数据湖中数据感到一筹莫展，核心问题在于，湖中数据增长得越多，其分析难度也越大。因为数据被不断地推进湖中，分析报告却始终难产，这种规模可观的数据湖被戏虐为“单向”数据湖，数据只进不出。这样数据湖仅仅被当做一个倾斜数据的垃圾， “垃圾”数据湖至少有三个问题 （1）有用的数据对于分析师来说会变得难以发现，因为它们被掩藏在堆积如山的不相关信息后面； （2）用来描述数据湖中数据个体的元数据（数据的数据）并没有被捕获或存...
数据湖-1-数据湖的概念和基本特征
qq_20466211的博客
11-08 273
数据湖的概念和基本特征
数据湖和数据仓库对比
最新发布
07-28
回答: 数据湖和数据仓库是两种相对独立的数据设计模式。数据仓库是为了保障数据的质量、一致性和重用性而进行结构化处理的，数据质量较高。而数据湖的设计理念是相反的，数据湖中的数据可靠性较差，数据可能是任意状态和形态的。数据湖不会对数据进行结构化处理，而是将原始数据以其原始形式存储在数据湖中。数据湖的目标是提供一个存储所有类型和格式的数据的中心位置，以便进行进一步的分析和处理。因此，数据湖和数据仓库在应用点和数据质量上有所不同。数据湖并不是要替代数据仓库，而是对企业的数据管理模式进行补充。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [数据湖和数据仓库区别介绍](https://blog.csdn.net/hzp666/article/details/111993102)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YoungerChina

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值