文章目录
-
- Hive面试题整理(一)
-
- 1、Hive表关联查询,如何解决数据倾斜的问题?(☆☆☆☆☆)
- 2、Hive的HSQL转换为MapReduce的过程?(☆☆☆☆☆)
- 3、Hive底层与数据库交互原理?(☆☆☆☆☆)
- 4、Hive的两张表关联,使用MapReduce怎么实现?(☆☆☆☆☆)
- 5、请谈一下Hive的特点,Hive和RDBMS有什么异同?
- 6、请说明hive中 Sort By,Order By,Cluster By,Distrbute By各代表什么意思?
- 7、写出hive中split、coalesce及collect_list函数的用法(可举例)?
- 8、Hive有哪些方式保存元数据,各有哪些特点?
- 9、Hive内部表和外部表的区别?
- 10、Hive 中的压缩格式TextFile、SequenceFile、RCfile 、ORCfile各有什么区别?
- 11、所有的Hive任务都会有MapReduce的执行吗?
- 12、Hive的函数:UDF、UDAF、UDTF的区别?
- 13、说说对Hive桶表的理解?
Hive面试题整理(一)
1、Hive表关联查询,如何解决数据倾斜的问题?(☆☆☆☆☆)
1)倾斜原因:map输出数据按key Hash的分配到reduce中,由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。
(1)key分布不均匀;
(2)业务数据本身的特性;
(3)建表时考虑不周;
(4)某些SQL语句本身就有数据倾斜;
如何避免:对于key为空产生的数据倾斜,可以对其赋予一个随机值。
2)解决方案
(1)参数调节:
hive.map.aggr = true
hive.groupby.skewindata=true
有数据倾斜的时候进行负载均衡,当选项设定位true,生成的查询计划会有两个MR Job。第一个MR Job中,Map的输出结果集合会随机分布到Reduce中,每个Reduce做部分聚合操作,并输出结果,这样处理的结果是相同的Group By Key有可能被分发到不同的Redu