大数据面试题 -- 06

1、数仓分层的作用

1、把复杂问题简单化
2、减少重复开发（空间换时间）
3、隔离原始数据

2、每层的作用

ODS（Operation Data Store）:原始数据层，存放原始数据，直接加载数据，不做任何处理
DWD（Data WareHouse Detail）:对ODS层的数据进行清洗（去脏，去噪），维度建模，脱敏
DWS（Data WareHouse Service）：以DWD为基础，按天进行汇总
DWT（Data WareHouse Topic）：以DWS为基础，按主题进行汇总
ADS（Application Data Store）：为各种报表提供数据支持

3、hive和mysql的区别

Hive 和数据库除了拥有类似的查询语言，再无类似之处。
1、数据存储位置
Hive 存储在 HDFS 。数据库将数据保存在块设备或者本地文件系统中。
2、数据更新
Hive中不建议对数据的改写。而数据库中的数据通常是需要经常进行修改的，
3、执行延迟
Hive 执行延迟较高。数据库的执行延迟较低。当然，这个是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive的并行计算显然能体现出优势。
4、数据规模
Hive支持很大规模的数据计算；数据库可以支持的数据规模较小。

4、快排算法