m0_74079512的博客

原创 hive sql / mysql 相关面试知识点

该设置会在数据出现倾斜时，将一个group by 的执行计划拆分为两个阶段MR，第一阶段将key随机分发到不同reduce进行聚合，然后第二阶段MR会基于前一阶段预处理的结果，将相同的key分发到同一个reduce算子，执行聚合操作。当大于该值时，才会进行map端聚合。– 开启该设置后，join时会在map端将小表缓存到内存中（缓存为hash table），在map端执行join。我们平时创建的表默认是内部表，内部表的数据是由hive管理，外部表的数据由hdfs管理。源数据是指具体的数据内容（存储数据）