大谈数据第二期数据仓库够酷吗

最新推荐文章于 2024-09-30 22:41:04 发布

嚯呀怪怪怪

最新推荐文章于 2024-09-30 22:41:04 发布

阅读量844

点赞数 15

文章标签：数据仓库后端数据库大数据数据库架构 etl工程师数据库开发

本文链接：https://blog.csdn.net/m0_46580983/article/details/142580377

版权

引言

随着信息技术的迅猛发展，企业面临着如何有效管理和利用大量数据的挑战。数据通常是按照一定的频率从运营系统（如 ERP 和 CRM）、数据库以及外部数据源（如合作伙伴系统、物联网设备、天气应用和社交媒体）流入数据仓库。云计算的出现改变了这种情况。近年来，数据存储位置已经从传统的本地基础架构发展到多种环境，包括本地环境、私有云和公有云等。

数据仓库（Data Warehouse）作为一种集中存储和管理数据的系统，为企业提供了强大的数据分析能力，成为现代大数据架构的重要组成部分。现代数据仓库能够同时处理结构化和非结构化数据，比如视频、图像文件和传感器数据。一些数据仓库利用集成分析工具和内存数据库技术（将数据集保存在计算机内存中而不是磁盘中）来实现对可信数据的实时访问，帮助企业制定有把握的决策。

本文将从初学者到大数据工程师的视角，深入探讨数据仓库的基本概念、架构、应用案例和技术实现。

基本概念

数据仓库是一个集成的、主题导向的、相对稳定的、支持决策的数据集合。它通过从多个数据源提取、转换和加载（ETL）数据，为决策者提供数据支持。与传统的数据库不同，数据仓库主要用于分析而非日常事务处理。

在提取、转换、加载的过程中一般从用户实际需求出发，将不同平台的数据源按设定主题进行划分整合，与传统的面向事务的操作型数据库不同，具有较高的抽象性。面向主题的数据组织方式，就是在较高层次对分析对象数据的一个完整、统一并一致的描述，能完整及统一地刻画各个分析对象所涉及的有关企业的各项数据，以及数据之间的联系。

数据仓库的特点

主题导向：数据仓库以主题为基础，组织数据以支持分析。
集成性：数据来自不同源系统，通过ETL过程集成到数据仓库中。
稳定性：一旦数据加载到数据仓库，通常不会频繁更改。
时间变化：数据仓库记录数据的历史变化，支持时间序列分析。

主题导向（Subject-Oriented）

数据仓库的主题导向是指，它以业务领域中的关键主题来组织数据，而不是以具体的事务或应用系统为导向。传统的事务型数据库（如OLTP系统）主要处理日常操作中的数据记录，关注的是某个具体事务的处理过程，如销售订单、库存变化等。而数据仓库的目的是帮助决策支持，因此它根据业务分析的需要，将数据按照不同的主题领域进行组织。

例如，在一个零售公司的数据仓库中，可能有以下主题：

客户：包括客户的基本信息、购买行为、满意度等。
产品：包含产品的名称、分类、库存情况等信息。
销售：记录销售额、折扣、利润等相关数据。

这种基于主题的组织方式，能够帮助企业决策者围绕某一特定业务领域进行深入分析。例如，通过分析“销售”主题中的数据，可以发现某类产品的销售趋势，进而优化采购和销售策略。

集成性（Integrated）

数据仓库的集成性指的是，它将来自不同源系统的数据进行统一的处理、转换和存储，确保数据的一致性和完整性。在现代企业中，数据通常分散在多个系统中，这些系统可能使用不同的数据格式和存储方式，比如ERP、CRM、财务系统等。为了支持统一的数据分析，必须对这些分散的数据进行整合。

集成性体现在以下几个方面：

数据格式统一：来自不同源的数据可能使用不同的数据类型和格式。例如，一个系统使用的日期格式是“YYYY-MM-DD”，而另一个系统则使用“MM/DD/YYYY”。数据仓库会通过ETL（提取、转换、加载）过程，将这些数据转换为一致的格式。
数据清洗和转换：不同系统中的数据可能存在不一致的情况，如同一个客户在不同系统中使用了不同的名称或ID。数据仓库通过数据清洗和转换的过程，消除这些不一致性，确保数据的准确性。
统一数据视图：集成后的数据可以为企业提供一个完整的、统一的视图。例如，销售数据和客户数据可以通过数据仓库整合，企业可以通过一个查询查看某个客户的完整购买历史和行为。

稳定性（Non-volatile）

数据仓库的稳定性指的是，数据一旦被加载到数据仓库中，通常不会进行频繁的修改或删除。这与事务型数据库的不同，后者需要实时更新和处理数据。例如，在一个电商平台的订单系统中，订单的状态和库存会频繁变化，数据库需要及时更新以反映这些变化。

然而，数据仓库的主要目的是支持历史数据的分析，因此它更倾向于保持数据的稳定性。一旦数据进入仓库，就不再像事务型系统那样频繁变动，而是作为历史记录保留下来，以便分析过去的趋势和模式。这种特性对于支持时间序列分析和业务趋势预测非常重要。

稳定性确保：

历史数据保留：企业可以通过数据仓库查看过去的业务表现，进行长期趋势分析。
数据一致性：由于数据不再频繁变动，分析人员可以对相对静态的数据进行多次查询，确保结果的一致性和可重复性。
高效查询：稳定的数据使得数据仓库能够针对分析型查询进行优化，提高查询速度和性能。

时间变化（Time-Variant）

数据仓库的时间变化特性是指，它能够记录数据随时间的变化情况，支持对历史数据的回溯和分析。事务型数据库中的数据通常只保留当前的最新状态，不保留历史记录。例如，ERP系统中的库存数量会实时更新，只记录当前的库存水平，而不会保存每次变动的详细历史记录。

在数据仓库中，时间维度是数据分析的关键元素。通过保留数据在不同时刻的状态，企业可以进行纵向的趋势分析和时间序列分析。例如：

销售趋势分析：通过记录每个月、每个季度的销售数据，企业可以分析产品销售的增长或衰退趋势。
客户行为跟踪：通过记录客户的购买历史，企业可以分析客户的行为模式，并预测未来的购买倾向。
财务报表对比：通过保留多个时期的财务数据，企业可以轻松生成不同时间段的财务对比报告。

时间变化的特性不仅使得数据仓库能够支持复杂的历史回溯查询，还能通过这些查询生成预测分析，为企业的决策提供有力支持。

数据仓库的优势

设计优良的数据仓库是商业智能及分析计划取得成功的基础。数据仓库的主要功能是为报表、仪表盘和分析工具提供支持，这些都是当今企业不可或缺的工具。数据仓库能够提供企业需要的信息，帮助企业制定由数据驱动的决策，在每件事情上都作出正确的决定，包括新产品开发、库存水平管理等。数据仓库有诸多优势，例如：

优化业务分析：借助数据仓库，决策者可以访问来自多个数据源的数据，摆脱根据不完整信息制定决策的情况。
加快查询速度：数据仓库的主要目的是提高数据检索和分析的速度。通过数据仓库，企业可以快速查询大量经整合的数据，且几乎不需要 IT 部门的支持。
提高数据质量：将数据加载到数据仓库之前，系统会创建数据清理工单，并将该工单录入工作清单中，对数据进行进一步处理，确保数据转换为统一的格式，从而为分析和决策提供优质、准确的数据。
提供历史洞察：数据仓库存储了丰富的历史数据，可以帮助决策者从过去的趋势和挑战中获取知识，并对未来进行预测，持续改善业务。

数据仓库与数据库

数据仓库和数据库虽然都用于存储和管理数据，但它们的目的、设计和使用方式存在显著差异。

数据库就是我们常用的关系型数据库（MySQL、Oracle、PostgreSQL…），还有什么非关系型数据库，它主要存放业务数据，那数据仓库有有些什么数据呢？

说到他们的区别，我们一般会提到OLTP和OLAP：

OLTP：On-Line Transaction Processing，联机事务处理，主要是业务数据，需要考虑高并发、考虑事务；
OLAP：On-Line Analytical Processing，联机分析处理，重点主要是面向分析，会产生大量的查询，一般很少涉及增删改。

数据仓库其实是一套体系，他不是一门什么技术，而是整合了很多已有的技术，来更好地组织和管理数据。

传统数仓的话，主要是基于关系型数据库，后面还有一些分布式的数据库像Greenplum，还有很多公司会提供基于硬件的一整套解决方案。

数据仓库与数据库的联系

存储数据：数据仓库和数据库都是用来存储数据的系统。两者的核心功能都是将数据存储在一个集中化的位置，便于查询和管理。
数据结构：两者都采用结构化的数据存储方式，通常使用表格形式进行组织。无论是数据库还是数据仓库，数据都被存储在表中，并通过列和行来进行数据管理。
使用SQL查询语言：无论是数据仓库还是数据库，通常都支持SQL（结构化查询语言）进行数据查询和管理操作。用户可以使用SQL进行数据的插入、查询、更新等操作。
数据的一致性管理：两者都关注数据的完整性和一致性。数据库中的事务处理确保数据的一致性，而数据仓库在集成不同来源的数据时，通过ETL过程也会进行数据清洗和一致性验证。

数据仓库与数据库的区别

01. 目的不同

数据库：数据库（如关系型数据库，OLTP - 在线事务处理系统）主要用于日常事务处理。它的目的是支持实时的读写操作，如记录交易、库存变动、用户操作等。它设计的重点是快速的插入、更新和删除操作，以支持高并发的事务处理。
数据仓库：数据仓库则是用于分析的系统（OLAP - 在线分析处理系统）。它的主要目的是支持业务分析和决策支持，帮助企业从大量的历史数据中提取有价值的洞察。数据仓库的设计强调快速的查询、报告生成和数据分析，而非实时的事务处理。

02. 数据类型和结构

数据库：数据库中的数据通常是即时生成的事务性数据，关注的是当前的业务状态。数据库中的数据结构通常是面向应用的，并且会根据业务需求频繁更新。
数据仓库：数据仓库中的数据则是经过整合、转换和优化的历史数据。数据仓库中的数据通常是只读的，历史数据会长期保存以供分析和报告使用。数据仓库中的数据通常按照业务主题（如客户、销售、产品等）进行组织，以支持跨时间段的分析和报表。

03. 数据更新频率

数据库：数据库的数据是实时更新的。例如，当用户在电商平台下单时，订单数据会立即插入数据库中，库存数据也会立刻更新。
数据仓库：数据仓库中的数据更新频率较低。通常，数据仓库会在每天、每周或每月通过批处理的方式从多个源系统中提取数据进行更新。数据仓库的重点不在于实时更新，而在于整合和存储大量的历史数据，供决策分析使用。

04. 查询类型

数据库：数据库的查询类型通常是简单的、针对单一事务的。例如，查询某个用户的订单详情或某件商品的库存信息。这些查询通常是短时间内需要完成的，并且要求非常高的实时性。
数据仓库：数据仓库中的查询类型则更加复杂，通常涉及大量数据的分析。例如，分析过去一年内不同产品的销售趋势，生成月度销售报告等。这样的查询通常需要扫描大量数据表，并进行聚合、计算等复杂操作，因此数据仓库的设计更注重读操作的性能优化。

05. 数据结构设计

数据库：数据库的设计通常采用**规范化（Normalization）**的方式，以减少数据冗余，保证数据插入、更新和删除的效率。数据被拆分成多个相关联的表，以实现较高的插入和更新性能。
数据仓库：数据仓库的设计通常采用**非规范化（Denormalization）**的方式，数据可能被冗余存储以加快查询速度。最常见的设计是星型（Star Schema）和雪花型（Snowflake Schema）架构，数据被组织成事实表和维度表，以便于数据分析。

06. 事务处理 vs 数据分析

数据库：数据库支持ACID（原子性、一致性、隔离性、持久性）事务，以确保数据在插入、更新、删除时的可靠性和一致性。数据库系统需要处理高并发的事务，以支持大量的用户同时进行操作。
数据仓库：数据仓库的目标是提供面向决策的多维数据分析。数据仓库更注重查询优化，以便快速返回复杂的聚合分析结果，因此它通常不会处理高并发的事务，而是支持大规模的读操作和报表生成。

07. 数据保留周期

数据库：数据库中的数据通常只保留当前业务所需的数据，不会存储长期的历史记录。例如，一个订单系统中的订单记录可能只保留过去几个月的订单，较旧的订单会被归档或删除。
数据仓库：数据仓库中的数据则通常保留较长的时间跨度，以便进行历史趋势分析。企业可以在数据仓库中存储多年的销售数据、客户行为数据等，供长期分析和决策使用。