一文读懂数据仓库、数据湖、湖仓一体

1、数据仓库

数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。
早期系统采用关系型数据库来存放管理数据,但是随着大数据技术的兴起,人们对于多方面数据进行分析的需求愈加强烈,这就要求建立一个能够面向分析、集成保存大量历史数据的新型管理机制,这一机制就是数据仓库。
在这里插入图片描述
数据仓库通常存储来自不同源的数据,集成源数据以提供统一的视图。这些资源可以包括事务系统、应用程序日志文件、关系数据库等等。

数据仓库的特征

数据仓库之父Bill Inmon在1991年出版的Building the Data Warehouse 一书中首次提出了被广为认可的数据仓库定义。Inmon将数据仓库描述为一个面向主题的、集成的、随时间变化的、非易失的数据集合,用于支持管理者的决策过程。这个定义有些复杂并且难以理解,针对定义中的关键词,我们分别来看看数据仓库所具备的特点。

  1. 数据仓库的数据是面向主题的
    与传统数据库面向应用进行数据组织的特点相对应,数据仓库中的数据是面向主题进行组织的。在较高层次上完整、统一地刻划各个分析对象所涉及的企业各项数据,以及数据之间的联系。
  2. 数据仓库的数据是集成的
    数据仓库的数据是从原有的分散的数据库数据中抽取得来。数据进入数据仓库之前,必然要经过统一与综合处理。
  3. 数据仓库的数据是随时间不断变化的
    为了发现业务变化的趋势、存在的问题,或者新的机会,需要分析大量的历史数据。换句话说,数据仓库中的数据是反映了某一历史时间点的数据快照,这也就是术语“随时间变化”的含义。同时,在从数据集成输入数据仓库开始到最终被删除,数据又是有生存周期的。
  4. 数据仓库的数据是非易失的
    非易失指的是,一旦进入到数据仓库中,数据就不应该再有改变。数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一般情况下并不进行修改操作。

2、数据湖

随着当前大量信息化发展和电子设备产品普及,产生大量的照片、视频、文档等非结构化数据,人们也想通过大数据技术找到这些数据的关系。随之而来的数据湖就产生了。

数据湖的概念首次于2010年被James Dixon在其博客帖子(Pentaho, Hadoop, and Data Lakes | James Dixon’s Blog)中提及 :
数据湖概念

如果将数据集市视为瓶装水的商店——经过清洁、包装和结构化以便于饮用——那么数据湖就是处于更自然状态的一大片水体。数据湖的内容从源头流入,填满湖,湖的各种用户可以来检查、潜入或取样。

维基百科对数据湖的定义是:数据湖(Data Lake)是一个以原始格式存储数据的存储库或系统

评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值