关于数据湖和数据仓的一些概念

一、前言

随着各行业数字化发展的深化，数据资产和数据价值已越来越被深入企业重要发展的战略重心，海量数据已成为多数企业生产实际面临的重要问题，无论存储容量还是成本，可靠性都成为考验企业数据治理的考验。本文来看下海量数据存储的数据湖和数据仓，数据仓库和数据湖，他们都是基于数据进行价值挖掘，只是侧重点不同，下面让我们来认识一下。

关联资源：TPC-DS V3 Top Performance Results、Delta Lake、databricks文档、iceberg文档、 Apache Hudi

二、数据仓

数据仓库最开始是一种面向商务智能 (BI) 活动（尤其是分析）的数据管理系统，出现于 1990 年代，主要基于 MPP（Massively Parallel Processing，大规模并行处理）或者关系型数据库实现，主要用于查询和分析，帮助企业做数据存储、处理和分析，发展数据看板、BI（商业智能）等，通常涉及大量的历史数据。在实际应用中，数据仓库中的数据一般来自应用日志文件和事务应用数据采集/上报的一些指标等广泛来源。

数据仓库能够集中、整合多个来源的大量数据，借助数据仓库的分析功能，企业可从数据中获得宝贵的业务洞察，改善决策。同时，随着时间推移，它还会建立一个对于数据科学家和业务分析人员极具价值的历史记录。基于此，数据仓库最终为企业提供一个面向用户的单一信息源，屏蔽了底层的源数据。

三、数据湖

数据湖（Data Lake）是一个集