1.自我介绍
2.简单介绍2个项目+项目选型+负责哪一部分
负责的部分是离线数仓部分
3.围绕项目问问题:
项目所使用的数据模型(问的是星型模型和雪花模型的区别,愣是半天没反应过来,害)
ClickHouse和Hbase有什么区别
Hive和Hbase有什么区别
•Hive是通过构建元数据,映射HDFS文件构建成表,本质还是HDFS,实现离线大数据仓库
•Hbase是通过构建上层分布式内存,底层HDFS,实现大数据实时存储的NoSQL数据库
Hive和Mysql有什么区别
(内心os:啊这,为啥老问我这么多区别,现在仔细想想我应该回答的更完整才符合面试官的需求。)
如何处理Hive的数据倾斜
如何解决数据倾斜一类的问题,可参见这篇:
Hive千亿级数据倾斜解决方案
描述一下Hive的MapReduce过程
mapreduce的三大阶段:
map阶段:并行处理的阶段 shuffle阶段:从离开Mapper开启到进入Reduce之前的阶段 reduce阶段:汇总整理的阶段
mapreduce的八大步骤
设置MapReduce的输入InputFormat类型,默认为TextInputForm