大数据架构师选型必懂：大数据离线数仓开发框架详解与对比(hive、Spark SQL、Impala、Doris）

第一章 相关理论

1.1 大数据离线数仓理论

1.1.1 基本原理

大数据离线数仓，作为一个专门构建用于支持决策分析过程的数据集合，具有面向主题、集成、不可更新以及随时间变化的特点。其核心价值在于，通过对历史数据的深度存储、精细加工、全面整合与深入分析，能够为企业或组织提供一个多角度、多维度的数据视图，从而助力高层管理者做出更为明智与精准的决策。

1.2 SQL-on-Hadoop解决方案

SQL-on-Hadoop作为一种技术解决方案，旨在将SQL查询能力融入Hadoop生态系统中，使用户能够在不脱离Hadoop平台的前提下，利用熟悉的SQL语言进行数据的查询与分析。此方案显著降低了Hadoop的使用难度和成本，提升了数据处理的效率和灵活性。

在Hadoop原始架构中，数据处理主要依赖于MapReduce编程模型，这对于非专业开发者来说存在一定的学习门槛。而SQL-on-Hadoop解决方案的出现，为这些用户提供了一个更加直观和易用的数据查询接口。通过SQL语言，用户可以轻松地对存储在Hadoop集群中的海量数据进行复杂的查询操作，无需深入了解底层的MapReduce实现细节。

1.2.1 解决方案概念

SQL-on-Hadoop的核心思想是将SQL的易用性与Hadoop的分布式处理能力相结合。它通过在Hadoop之上构建一个支持SQL查询的层，使用户能够利用SQL语句对Hadoop中的数据进行操作。这一层通常被实