数仓基础知识

数仓基础知识

原文作者：JanLEE
原文链接：https://www.nowcoder.com/discuss/505489948036849664?sourceSSR=search

1.数仓为什么要分层

数仓分层是为了提高数据的管理和使用效率。

首先，分层可以帮助数据仓库实现数据的结构化和整理。通过将数据按照不同的层级进行分类，可以更好地对数据进行管理和组织，使数据结构清晰明确。

其次，分层可以提供不同的数据访问方式和权限控制。将数据仓库分为不同的层级，可以根据用户的需求和权限将不同层级的数据暴露给用户，实现对数据的灵活访问和控制，同时确保敏感数据的安全性。

此外，分层还可以提升数据仓库的性能和扩展性。将数据仓库按照不同的层级进行划分，可以根据需求优化每个层级的性能，使数据的查询和分析更加高效。同时，分层也便于数据仓库的扩展和维护，可以根据需要进行层级的增加或删除。

最后，分层还可以支持数据的生命周期管理。数据仓库中的数据通常具有不同的生命周期，分层可以帮助对数据进行更好地管理和归档，确保数据的可用性和长期保存。

综上所述，数仓分层有助于提高数据管理和使用效率，权限控制，提升数据仓库的性能和扩展性，支持数据的生命周期管理。

2.什么是数仓主题

数仓主题是指在数据仓库中按照业务或主题进行组织和存储的数据集合。
数仓主题通常由相关的数据表、维度表和事实表组成，用于支持特定的分析需求和业务问题。每个数仓主题都关注于某一个特定的业务领域或主题，例如销售、客户、产品等。通过将数据按照主题进行划分和组织，数仓主题能够提供更加聚焦和集中的数据视图，方便用户进行数据分析和决策支持。

3.什么是数仓模型，维度和指标

数仓模型是用于构建数据仓库的一种模型，它是一种综合各种数据源，建立集成的、主题导向的、高度可扩展且用于分析和报告的数据架构。

维度是数据仓库中的描述性数据项，它们被用来对事实数据进行分析和理解。维度提供了数据的上下文和参照，使得数据可以根据特定的属性进行筛选、切片和钻取。维度通常是描述性的信息，比如产品、时间、地理位置等。

指标是用来衡量业务过程或现象的关键性能指标，它们是数值型的度量。指标提供了数据仓库中的数值结果，能够被用于分析、比较和评估数据。指标可以用来回答关键业务问题，比如销售额、利润率、客户满意度等。

4.范式建模和维度建模优劣势

范式建模和维度建模是数据建模的两种不同方法。

范式建模是一种关系数据库的设计方法，它将数据拆分成多个表，每个表都包含一个实体或关系的信息。这种方法追求数据的结构化和规范化，可以避免数据冗余和数据一致性问题。范式建模适用于事务性系统，其中数据频繁地更新和修改。

==维度建模是一种面向分析的数据建模方法，它将数据组织成分为事实表和维度表的星型或雪花型结构。==事实表包含数值型度量数据，而维度表包含用于描述事实表中数据的属性。这种方法适用于决策支持系统和数据仓库，可以提供快速的查询和分析能力。

范式建模的优劣势包括：

• 优势：
  数据结构化和规范化，避免数据冗余和数据一致性问题。
  适用于事务性系统，对频繁的数据更新和修改效果好。
  增加了数据库的灵活性，可以对数据进行更精细的控制。
• 劣势：
  多个表之间存在复杂的关联关系，查询和分析复杂度较高。
  需要较多的数据库连接和联结操作，性能较差。
  不适用于大量的数据查询和汇总操作，效率较低。

维度建模的优劣势包括：

• 优势：
  提供了快速的查询和分析能力，结构简单明了。
  适用于决策支持系统和数据仓库，对查询和汇总操作效果好。
  易于理解和使用，减少了用户的学习成本。
• 劣势：
  数据冗余较多，存在数据一致性问题。
  对数据的结构和内容有一定的限制，不够灵活。
  不适用于频繁的数据更新和修改。

5.hive优化

Hive是一个基于Hadoop的数据仓库基础工具，用于处理大规模数据集。在使用Hive进行数据处理时，可以通过以下几种方法进行优化：

• 分区和分桶：Hive中的分区和分桶可以将数据划分为更小的部分，使查询过程更快。可以根据数据的特征选择适当的分区字段，并在查询时使用分区过滤条件。

• 合理使用索引：Hive支持在表上创建索引，可以根据查询的需求创建适当的索引，提高查询性能。然而，索引也会增加数据写入的开销，因此需要在索引性能和数据写入开销之间进行平衡。

• 数据压缩：Hive提供了多种数据压缩格式，如Snappy、LZO等，可以减小存储空间，加快数据读取速度。在创建表时可以选择合适的压缩格式。

• 数据倾斜处理：在数据处理过程中，可能会出现部分数据倾斜情况，即某个分区或某些数据量非常大。可以通过一些技术手段，如拆分数据、使用动态分区等来解决数据倾斜问题，使查询效率更高。

• 适当优化查询语句：可以通过调整查询语句的顺序、使用合适的表连接方式、合理使用聚合函数等方式来优化查询性能。

• 使用Tez或Spark引擎：Hive原生的执行引擎是MapReduce，但Tez和Spark引擎在某些场景下可以提供更高的性能。可以根据实际需求选择使用不同的执行引擎。

以上是一些常见的Hive优化方法，具体的优化策略还需要根据具体情况进行调整。

6.如何从0到1构建数仓

构建数仓是一个复杂的过程，需要考虑多个方面的因素。下面是一个逐步指南，帮助你从0到1构建数仓。

• 确定目标和需求：首先，你需要明确你的目标和需求。确定你要构建数仓的目的以及需要解决的业务问题。这将有助于为后续的步骤制定计划。

• 数据收集和整合：收集和整合各种数据源。这些数据源可以是企业内部的数据库、日志文件、第三方数据提供商等。确保数据的质量和准确性。

• 数据清洗和转换：清洗和转换数据以使其适应数仓的结构和格式要求。这包括去除重复记录、处理缺失值、转换数据类型等。

• 数据存储和管理：选择合适的数据存储技术和平台，如关系型数据库、列存储数据库等。建立数据管理的策略和流程，确保数据的安全性和一致性。

• 数据建模和设计：进行数据建模和设计，确定数仓中的维度和事实表以及它们之间的关系。这将为后续的数据分析和报告提供基础。

数据，并进行数据转换以使其适应数据模型。这可以通过ETL（抽取、转换、加载）工具来实现。

• 数据分析和报告：使用数据分析工具和报告工具对数仓中的数据进行分析和报告。这可以帮助你发现数据中的趋势和模式，并为业务决策提供支持。

• 数据质量和监控：建立数据质量和监控机制，定期检查数据的准确性和完整性。修复数据质量问题，并采取措施防止类似问题的再次发生。

• 建立数据治理框架：制定数据治理策略和规范，确保数据的合规性和安全性。确保数据访问的控制和权限管理。

• 持续改进和优化：数仓是一个持续发展和优化的过程。定期审查和改进数仓的设计和架构，以适应业务需求的变化。

以上是构建数仓的基本步骤和指南。但请注意，每个组织的情况不同，具体的构建过程可能会有所不同。因此，在实践中，可能需要根据具体情况进行调整和定制。

7.数仓业务开发流程

数仓业务开发流程通常包括以下几个关键步骤：

• 需求分析：与业务部门合作，了解他们的需求和数据要求。这包括确定指标、维度、数据粒度、数据来源等。
• 数据收集与提取：根据需求收集各种数据源，如数据库、日志文件、API接口等，并设计适当的数据提取方案。使用ETL（抽取、转换、加载）工具或自定义脚本从源系统中提取数据。
• 数据清洗与转换：对提取的原始数据进行清洗、处理和转换，以确保数据质量和一致性。这包括处理缺失值、去除重复项、规范化数据格式、统一单位等。
• 数据集成与存储：将清洗后的数据整合到数仓中，通常使用关系型数据库或分布式存储系统。设计适当的数据模型，如星型模型或雪花模型，以支持快速查询和分析。
• 数据计算与聚合：根据业务需求，进行数据计算和聚合，生成指标和报表。这可能涉及数据分组、求和、平均值、最大/最小值等统计操作。
• 数据可视化与报表：使用可视化工具或编程语言（如Tableau、Power BI、Python等）创建交互式报表和仪表板，以便业务用户可以直观地理解和分析数据。
• 数据验证与测试：对开发的业务逻辑进行验证和测试，确保计算结果的准确性和一致性。这包括与业务用户一起验证报表的正确性，并进行单元测试和集成测试。
• 上线发布与维护：将开发的数据产品上线，并确保其可用性和稳定性。定期监控数据质量、性能和安全性，根据需要进行维护和优化。

需要注意的是，数仓业务开发流程可能在不同的组织和项目中有所不同。有些组织可能会采用敏捷开发方法，将开发过程划分为多个迭代周期，并与业务用户持续合作和反馈。因此，具体的流程可以根据实际情况进行调整和定制。

8.指标、维度和数据粒度

指标（Metric）：指标是衡量或度量数据的数量或性质。它代表着业务中需要关注的具体指标或度量标准，用于量化某个业务过程或现象。例如，销售额、利润、用户数量、转化率等都可以作为指标。指标通常是可计算的，可以通过对数据进行聚合、计算或统计来得出。

维度（Dimension）：维度是用于描述和分类数据的属性或角度。它提供了对指标进行分组、筛选和切片的依据。维度通常是描述性的，用于描述事实所发生的背景和特征。例如，时间、地理位置、产品类别、客户类型等都可以作为维度。通过维度，可以将数据聚合成不同维度的视图，以便进行更深入的分析和决策。

数据粒度（Data Granularity）：数据粒度指的是数据的详细程度或粒度水平。它决定了数据被记录、存储和处理的单位或层次。数据粒度越细，表示数据被更详细地记录和存储；数据粒度越粗，表示数据被更高层次地总结和处理。例如，对于销售数据，数据粒度可以是每天、每小时、每分钟或每个交易的级别。选择适当的数据粒度可以在满足业务需求的同时，平衡数据存储和计算的成本。

这些概念在数仓中相互关联，共同构建了数据模型和分析视图。通过确定合适的指标、维度和数据粒度，可以支持数据驱动的决策和分析需求，帮助理解业务运营情况，发现问题和机会，并进行深入的数据分析和洞察。

9.维度建模

维度建模是一种在数据仓库和商业智能领域中常用的数据建模方法，它以维度为核心来组织和描述数据。维度建模的主要特点是简单、直观且易于理解，适用于大部分业务分析需求。

在维度建模中，数据被分为两种类型：事实表（Fact Table）和维度表（Dimension Table）。

事实表（Fact Table）：事实表包含了需要分析的数值型指标，如销售额、利润、数量等。每一行表示一个事实事件或业务交易，而事实表的列则是与该事实事件相关的度量值。
维度表（Dimension Table）：维度表包含了描述事实所发生背景和特征的属性，如时间、地理位置、产品、客户等。每一行表示一个唯一的维度值，而维度表的列则是与该维度值相关的属性或描述信息。
维度建模的关键思想是将事实表和维度表通过共享的键（Key）进行关联，形成星型模型或雪花模型。在星型模型中，事实表位于中心，而维度表则像星星的射线一样与其相连。而在雪花模型中，维度表可能进一步细分为更小的维度表，形成层级结构。

维度建模的优势包括：

简单直观：维度建模采用了直观的图形表示方式，易于理解和沟通，降低了复杂性。
易于查询和分析：由于维度建模的扁平化结构，查询和分析变得简单直接，减少了数据的连接和处理操作。
灵活性和可扩展性：维度建模支持按需扩展和改进，并能满足不同级别、粒度和维度的数据分析需求。
高性能：维度建模的简化结构和聚焦查询的特点使得数据仓库系统具备较高的性能和响应速度。
总之，维度建模是一种利用维度和事实来组织和描述数据的常用方法，能够帮助用户更好地理解和分析业务数据，支持数据驱动的决策和洞察。

10.雪花模型详解

当维度表在维度建模中进一步细分为更小的维度表时，就形成了雪花模型。与星型模型相比，雪花模型在维度表之间建立了更多的关联关系，因此形状看起来像是一个扩展出的星型模型，有如雪花一般。

在雪花模型中，每个维度表都被规范化，即将重复的属性单独抽取出来形成独立的表。这样做的目的是减少数据的冗余和重复性，提高数据仓库的存储效率和性能。

以下是一个简单的雪花模型示例，以描述销售业务为例：

原始星型模型：事实表：Sales Fact维度表：Product Dimension、Time Dimension、Location Dimension、Customer Dimension
雪花模型改进：事实表：Sales Fact维度表：Product Dimension、Time Dimension、Location Dimension、Customer Dimension

雪花模型改进的部分在于将维度表进一步规范化，形成更小的维度表，例如：Product Dimension 包含了 Product 和 Category 两个属性，可以将 Category 抽取出来形成独立的 Category Dimension 表。Location Dimension 包含了 Location 和 Store 两个属性，可以将 Store 抽取出来形成独立的 Store Dimension 表。
通过雪花模型的改进，维度表之间的关联变得更明确和灵活，同时减少了冗余数据的存储。这种规范化的设计使得数据仓库更加灵活，适应不同层次和粒度的数据分析需求。

然而需要注意的是，雪花模型相对于星型模型而言，引入了更多的表和关联，可能会增加数据查询的复杂性，降低查询性能。因此，在实际应用中，应根据数据分析需求和系统性能进行权衡和选择，选择最适合的数据建模方式。

11.星型模型

星型模型是维度建模中最基本和常见的模型类型之一，它由一个事实表（Fact Table）和多个维度表（Dimension Table）组成。这种模型在视觉上呈现为一个中心的事实表，周围是与之关联的维度表，形象地形成了一个星型，因此得名为星型模型。

以下是星型模型的主要组成部分：

事实表（Fact Table）：事实表包含了需要分析的数值型指标或度量值，如销售额、利润、数量等。通常，每一行表示一个事实事件或业务交易，而事实表的列则是与该事实事件相关的度量值。事实表通常与多个维度表通过共享的键（Key）进行关联。
维度表（Dimension Table）：维度表包含了描述事实所发生背景和特征的属性，如时间、地理位置、产品、客户等。每一行表示一个唯一的维度值，而维度表的列则是与该维度值相关的属性或描述信息。维度表通常与事实表通过共享的键进行关联。

星型模型的特点包括：
简单直观：星型模型以图形化方式呈现，易于理解和解释，使用户能够快速了解数据结构和关系。
易于查询和分析：由于星型模型的简单结构和明确关联，查询和分析数据变得相对简单，不需要复杂的连接操作。
效率高：星型模型中通常只有一个事实表，减少了数据冗余和存储空间占用，提高了查询效率和性能。
灵活性有限：星型模型在某些情况下可能无法满足复杂的数据分析需求，例如多对多关系或层级关系较为复杂的数据。对于这些情况，可以考虑使用雪花模型或其他更复杂的模型。
总而言之，星型模型是一种简单、直观且易于理解和查询的数据建模方法。它在很多业务场景下被广泛应用，适用于大部分的数据仓库和商业智能分析需求。