2024年大数据最全一篇文章搞懂数据仓库：数据仓库的8个发展阶段，2024年最新写得太好了

于 2024-05-13 19:27:20 发布
阅读量735 收藏 27
点赞数 23
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84181253/article/details/138816356
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

三 集成阶段

四 确立阶段（1991）

五 数据集市（1994－1996）

六 争吵与混乱（1996-1997）

七 合并（1998－2001）

八 未来

一 概念阶段（1978-1988）

=================

数据仓库最早的概念可以追溯到20世纪70年代MIT的一项研究，该研究致力于开发一种优化的技术架构并提出这些架构的指导性意见。第一次，MIT的研究员将业务系统和分析系统分开，将业务处理和分析处理分成不同的层次，并采用单独的数据存储和完全不同的设计准则。同时，MIT的研究成果与80年代提出的信息中心（InformationCenter）相吻合：即把那些新出现的、不可以预测的、但是大量存在的分析型的负载从业务处理系统中剥离出来。但是限于当时的信息处理和数据存储能力，该研究只是确立了一个论点：这两种信息处理的方式差别如此之大，以至于它们只能采用完全不同的架构和设计方法。

二 萌芽阶段

======

在80年代中后期,作为当时技术最先进的公司,DEC已经开始采用分布式网络架构来支持其业务应用，并且DEC公司首先将业务系统移植到其自身的RDBMS产品：RdB。并且，DEC公司从工程部、销售部、财务部以及信息技术部抽调了不同的人员组建了新的小组，不仅研究新的分析系统架构，并要求将其应用到其全球的财务系统中。该小组结合MIT的研究结论，建立了TA2（TechnicalArchitecture2）规范，该规范定义了分析系统的四个组成部分：

  • 数据获取

  • 数据访问

  • 目录

  • 用户服务

其中的数据获取和数据访问目前大家都很清楚，而目录服务是用于帮助用户在网络中找到他们想要的信息，类似于业务元数据管理；用户服务用以支持对数据的直接交互，包含了其他服务的所有人机交互界面，这是系统架构的一个非常大的转变，第一次将交互界面作为单独的组件提出来。

三 集成阶段

======

全企业集成（EnterpriseIntergration，1988）同时，IBM也在处理信息管理不同方面的问题，其最烦人的问题是不断增加的信息孤岛，IBM的很多客户要面对很多分立系统的数据集成问题，而这些系统有不同的编码方式和数据格式。1988年，为解决全企业集成问题，IBM爱尔兰公司的BarryDevlin和PaulMurphy第一次提出了“信息仓库（InformationWarehouse）”的概念，将其定义为：“一个结构化的环境，能支持最终用户管理其全部的业务，并支持信息技术部门保证数据质量”，并在1991年在DECTA2的基础上把信息仓库的概念包含进去，并称之为VITAL规范（virtuallyintegratedtechnicalarchitecturelifecycle），将PC、图形化界面、面向对象的组件以及局域网都包含在VITAL里，并定义了85种信息仓库的组件，包括数据抽取、转换、有效性验证、加载、Cube开发和图形化查询工具等。但是IBM只是将这种领先的概念用于市场宣传，而没有付诸实际的架构设计。这是IBM有一个领域上创新后停止不前导致丧失其领先地位。因此，在90年代初期，数据仓库的基本原理、框架架构，以及分析系统的主要原则都已经确定，主要的技术，包括关系型数据存取、网络、C/S架构和图形化界面均已具备，只欠东风了。同时，在1988年－1991年，一些前沿的公司已经开始建立数据仓库。

四 确立阶段（1991）

============

企业级数据仓库（EDW，1991）1991年，BillInmon出版了其有关数据仓库的第一本书，这本书不仅仅说明为什么要建数据仓库、数据仓库能给你带来什么，更重要的是，Inmon第一次提供了如何建设数据仓库的指导性意见，该书定义了数据仓库非常具体的原则，包括：数据仓库是面向主题的（Subject-Oriented）、集成的（Integrated）、包含历史的（Time-variant）、相对稳定的（Nonvolatile）、面向决策支持的（DecisionSupport）面向全企业的（EnterpriseScope）最明细的数据存（AtomicDetail）数据快照式的数据获取（SnapShotCapture）这些原则到现在仍然是指导数据仓库建设的最基本原则，虽然中间的一些原则引发一些争论，并导致一些分歧和数据仓库变体的产生。

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84181253
关注
  • 23
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
从数仓发展史浅析数仓未来技术趋势
华为云官方博客
03-28 704
华为云EI DTSE技术布道师/华为云数仓GaussDB(DWS)首席架构师曾凯，针对数据仓库的起源、演进过程、未来技术发展趋势，与开发者和伙伴朋友们展开交流互动，帮助开发者快速了解数据仓库相关信息与能力。
数据仓库（入门精讲）
最新发布
2301_77836489的博客
05-16 169
数据仓库
2019年实现分析和数据仓库现代化的三大趋势
qq_27005679的博客
01-14 1053
今年数据分析的优先事项发生了变化。增长因素和业务优先级不断变化。不要眨眼，否则您可能会错过领先的组织正在进行的现代化分析和数据仓库环境。 商业智能（BI）是由Dresner Advisory Services首席研究官Howard Dresner于1989年创造的一个总称，指的是最终用户访问和分析企业数据的能力。根据Dresner的说法，在2018年12月的网络研讨会上，2018年进行的新的初步...
数据仓库发展趋势
chenrizhong的专栏
08-21 1113
多种数据类型 数据仓库中一般存储的是结构化数据，大部分为数值数据。从这个角度看，决策支持系统分为两类：结构化数据的数据仓库和非结构化数据的知识管理系统。非结构化数据包含非结构化文档、图像、视频、音频和空间数据等。   数据可视化 可视化趋势：更多图表类型；交互可视化；庞杂
数据仓库：过去、现在和未来
许恒的博客
04-16 1930
数据仓库：过去、现在和未来我经常接触数据仓库建设的需求，而现有的大数据系统也希望基于大数据建设数据仓库，然而Hadoop为核心发展起来的软件适用于OLAP的数据分析需求，OLTP这样的分布式数据库系统也如火如荼的发展。作者：许江来源：36大数据|2017-11-24 13:51 收藏  分享技术沙龙 | 4月21日多位区块链专家进行区块链技术应用场景解读！我经常接触数据仓库建设的需求，而现有的大数...
从数据仓库到大数据，数据平台这25年是怎样进化的？
02-26
我是从2000年开始接触数据仓库，大约08年开始进入互联网行业。...（开发时间2001-2002年）海尔集团的一个BI项目，架构的ETL使用的是微软的数据抽取加工工具DTS，老人使用过微软的DTS知道有哪些弊端，
大数据技术 数据仓库设计与开发技术 数据仓库：业务维量周期 共6页.pdf
01-06
大数据技术 数据仓库设计与开发技术 数据仓库：业务维量周期 共6页.pdf
大数据技术 数据仓库设计与开发 数据仓库历史与现在发展状况 共15页.pdf
01-07
1981年，NCR公司开发了第一个数据仓库系统。1991年，比尔·恩门（Bill Inmon）出版了《建立数据仓库》（Building the Data Warehouse），对数据仓库技术进行了系统的总结和概括。二十世纪九十年代，数据仓库技术开始...
Hadoop大数据视频教程-第一季：真实电商数据仓库全流程开发详解
01-21
Hadoop大数据视频教程-第一季：真实电商数据仓库全流程开发详解 数据仓库讲解 hadoop+hive技术 电商核心理论
数据仓库系列：如何优雅地规划数仓体系
fuyipingwml1976124的博客
12-24 697
0x00 前言 数仓规划是数仓建设的蓝图，涵盖从需求分析开始到最终的数仓评估验收整个环境；数仓规划之所以重要，是因为它是描述了数据流动的概念性框架，为元数据管理奠定了基础，对数据加工过程...
看完了这篇实时数仓建设，才发现以前的都白看了
02-24
1.1数据仓库的趋势关于数据仓库的概念就不多介绍了。数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变得越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技术也在不停的发展。数据仓库的趋势：实时数据仓库以满足实时化&自动化决策需求大数据&数据湖以支持大量&复杂数据类型?1.2数据仓库的发展数据仓库有两个环节：数据仓库的构建与数据仓库的应用。早期数据仓库构建主要指的是把企业的业务数据库如ERP、CRM、SCM等数据按照决策分析的要求建模并汇总到数据仓库引擎中，其应用以报表为主，目的是支持管理层和业务人员决策（中长期策略型决策）。随着业务
【数仓】数仓架构发展史
m0_54252387的博客
08-07 585
在真实的场景中，很多时候并不是完全规范的Lambda架构或Kappa架构，可以是两者的混合，比如大部分实时指标使用Kappa架构完成计算，少量关键指标（比如金额相关）使用Lambda架构用批处理重新计算，增加一次校对过程。这两个架构都是实时架构，都是对离线架构的扩展。...
新一配百科：数据仓库所带来的效益和其发展前期
Cyanistlily的博客
11-28 285
效益 每一家公司都有自己的数据。并且，许多公司在计算机系统中储存有大量的数据，记录着企业购买、销售、生产过程中的大量信息和客户的信息。通常这些数据都储存在许多不同的地方。 使用数据仓库之后，企业将所有收集来的信息存放在一个唯一的地方——数据仓库。仓库中的数据按照一定的方式组织，从而使得信息容易存取并且有使用价值。 已经开发出一些专门的软件工具，使数据仓库的过程实现可以半自动化，帮助企业将数据导入数...
原创：数据仓库架构和建设方法
crazzy_lp的博客
06-23 4254
1.数据仓库概要 1.1.数据仓库起因      在建设数据仓库之前，数据散落在企业各部门应用的数据存储中，它们之间有着复杂的业务连接关系，从整体上看就如一张巨大的蜘蛛网：结构上错综复杂，却又四通八达。在企业级数据应用上单一业务使用方便，且灵活多变；但涉及到跨业务、多部门联合应用就会存在：①数据来源多样化，管理决策数据过于分散；②数据缺乏标准，难以整合；③数据口径不统一，可信度低；④缺乏数...
数据仓库技术的发展历程
三脚猫的专栏
01-03 4860
数据仓库与数据库的区别 　　数据仓库的出现，并不是要取代数据库。目前，大部分数据仓库还是用关系数据库管理系统来管理的。可以说，数据库、数据仓库相辅相成、各有千秋。 　　数据库是面向事务的设计，数据仓库是面向主题设计的。 　　数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 　　数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。
建设数据仓库步骤
dekong1010的专栏
08-11 3264
建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用;信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题，从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成，双方需要相互沟通，协作开发数据仓库。 开发数据仓库的过程包括以下几个步骤： 1.系统分析，确定主题 建立数据仓库的第一个步骤就是通过与业务部门的充分交流，了解建立数据仓库所要解决的问题的真正含义，确定各个主题下的查询分析要求。 ...
数据仓库简介
fu-jw的博客
03-01 4705
一、什么是数据仓库 数据仓库，英文名称为Data Warehouse，可简写为DW。数据仓库顾名思义，是一个很大的数据存储集合，出于企业的分析性报告和决策支持目的而创建，对多样的业务数据进行筛选与整合。它为企业提供一定的BI（商业智能）能力，指导业务流程改进、监视时间、成本、质量以及控制。 数据仓库的输入方是各种各样的数据源，最终的输出用于企业的数据分析、数据挖掘、数据报表等方...
数据仓库建设步骤
weixin_33871366的博客
12-17 317
数据仓库建设步骤Posted on2015-03-04 10:18xuzhengzhu阅读(1164) 评论(0)编辑收藏1.系统分析，确定主题确定一下几个因素： ·操作出现的频率，即业务部门每隔多长时间做一次查询分析。 ·在系统中需要保存多久的数据，是一年、两年还是五年、十年。 ·用户查询数据的主要方式，如在时间维度上是按照自然年，还...
数据仓库架构演进与菜鸟实时数据仓库设计
weixin_34004750的博客
11-05 2648
2019独角兽企业重金招聘Python工程师标准>>> ...
写一个基于HIVE数据仓库在大数据环境中的应用示例以及代码
08-02
### 回答1： 我可以回答这个问题。一个基于HIVE数据仓库的应用示例是在大数据环境中进行数据分析和处理。以下是一个简单的HIVE查询代码示例： SELECT COUNT(*) FROM table_name WHERE column_name = 'value'; 这个查询将返回表中特定列的值为'value'的行数。这是一个简单的示例，但HIVE可以进行更复杂的查询和数据处理。 ### 回答2： Hive数据仓库是基于Hadoop的一个数据仓库工具，用于进行大数据的分析和查询。下面是一个基于Hive数据仓库的应用示例和代码： 示例：通过Hive进行电商销售数据分析 1. 数据准备： 假设我们有一家电商公司，我们的数据包括订单表（Order）和商品表（Product）。订单表包含订单ID、用户ID、商品ID和订单金额等字段；商品表包含商品ID、名称、价格和库存等字段。 2. 创建Hive表： 首先，我们需要在Hive中创建订单表和商品表的数据表。假设我们已经将数据导入Hadoop分布式文件系统（HDFS），可以使用以下代码创建表： ``` CREATE TABLE order ( order_id int, user_id int, product_id int, amount double ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE; CREATE TABLE product ( product_id int, name string, price double, stock int ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE; ``` 3. 加载数据： 使用以下代码将数据从HDFS加载到Hive表中： ``` LOAD DATA INPATH '/path/to/order_data.txt' OVERWRITE INTO TABLE order; LOAD DATA INPATH '/path/to/product_data.txt' OVERWRITE INTO TABLE product; ``` 4. 分析查询： 现在我们可以使用Hive进行销售数据分析。以下是一些基本查询的示例： 1) 统计每个用户的订单数和总订单金额： ``` SELECT user_id, count(order_id) as order_count, sum(amount) as total_amount FROM order GROUP BY user_id; ``` 2) 查询库存不足的商品： ``` SELECT name, stock FROM product WHERE stock < 10; ``` 3) 查询销售额最高的前10个商品： ``` SELECT p.name, sum(o.amount) as sales_amount FROM order o JOIN product p ON o.product_id = p.product_id GROUP BY p.name ORDER BY sales_amount DESC LIMIT 10; ``` 以上是一个简单的电商销售数据分析的示例。通过Hive数据仓库，我们可以轻松地对大数据进行分析和查询，并从中发现有用的信息和趋势。 请注意，以上示例中的代码仅为演示目的，并不代表真实环境中的详细实现。实际应用中，还需要根据具体需求设计更复杂的数据模型和查询语句。 ### 回答3： 在大数据环境中，Hive是一个非常常见和重要的数据仓库工具之一。它允许我们在大规模数据集上进行数据处理和分析，并可以使用SQL-like查询语言进行数据查询。 下面是一个基于Hive数据仓库的应用示例： 假设我们有一个大型电商平台，拥有数百万用户和数千万商品。我们希望通过分析用户行为和商品信息，为用户提供个性化的推荐商品。 首先，我们将用户行为数据和商品信息数据导入到Hive数据仓库中。用户行为数据包括用户ID、商品ID、点击次数、购买数量等信息；商品信息数据包括商品ID、商品名称、商品类别等信息。 接下来，我们通过Hive编写一段代码来进行数据分析和推荐算法： ``` -- 创建用户行为临时表 CREATE TABLE user_behavior_temp ( user_id INT, item_id INT, click_cnt INT, purchase_cnt INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; -- 导入用户行为数据 LOAD DATA LOCAL INPATH 'user_behavior_data.txt' INTO TABLE user_behavior_temp; -- 创建商品信息临时表 CREATE TABLE item_info_temp ( item_id INT, item_name STRING, item_category STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; -- 导入商品信息数据 LOAD DATA LOCAL INPATH 'item_info_data.txt' INTO TABLE item_info_temp; -- 统计每个商品的销售量（点击次数+购买数量） CREATE TABLE item_sale_cnt AS SELECT a.item_id, a.item_name, a.item_category, sum(b.click_cnt + b.purchase_cnt) as sale_cnt FROM item_info_temp a JOIN user_behavior_temp b ON a.item_id = b.item_id GROUP BY a.item_id, a.item_name, a.item_category; -- 根据销售量进行商品推荐 SELECT item_name, item_category FROM item_sale_cnt ORDER BY sale_cnt DESC LIMIT 10; ``` 以上代码首先创建了两个临时表，然后分别导入了用户行为数据和商品信息数据。接下来，通过JOIN操作将两个表进行关联，计算出每个商品的销售量。最后，根据销售量进行排序，并选择销售量最高的前十个商品作为推荐结果。 这只是一个简单的示例，实际应用中可能会涉及更复杂的数据处理和分析操作。不过通过Hive的强大功能，我们可以很方便地在大数据环境中进行各种数据仓库应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值