本文介绍了大数据体系下的SQL处理流程，重点讲解了SQL查询优化器的工作原理，包括Top-down和Rule-based Optimizer（RBO）以及Cost-based Optimizer（CBO）。RBO基于规则进行优化，而CBO通过估算执行计划的代价来选择最优方案。在大数据场景下，查询优化器对于提升查询性能至关重要。
前言
大数据课程相关笔记
一、大数据体系下的SQL
一、大数据体系
大数据体系自上而下分为七层，分别是：
1. 业务应用
业务应用层次，主要业务应用包括BI报表、数据挖掘、营销分析、精准推荐等，主要工作是管控运维。
2. 数据开发
数据开发层次，主要技术包括Airflow、DAG等，主要工作是集群创建。
3. 权限管控
权限管控层次，主要技术包括Apache Ranger、GDPR等，主要工作是集群创建。
4. 分析引擎（SQL）
分析引擎分为批式分析、实时分析、交互分析等，主要工作是集群管理、服务管理。
（1）批式分析
主要包括Spark、Hive、MR等技术。
（2）实时分析
主要包括Flink技术。
（3）交互分析
主要包括Presto、ClickHouse、Doris等技术。
5. 资源调度
资源调度层次主要包括YARN、K8S等技术，主要工作是用户管理。
6. 存储系统
存储系统层次主要包括HDFS、HBase、NAS、Object Store、数据湖等技术，主要工作是监控报警。
7. 基础设施
基础设施层次主要包括ECS、存储、VPC等技术&#x
最低0.47元/天 解锁文章
扫一扫
290
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
