遐想者

一、hive数据倾斜1、可能会触发Hive数据倾斜的几种情况： 1）join： （1）分发到某一个或几个reduce上的数据远高于平均值（其中一个表较小，但是key集中）； （2）存在大量空值都有一个reduce处理（大表与小表，但是分桶的判断字段空值或0值过多）； 2）group by： （1）处理某个值的reduce非常耗时（group by维度过小，处理的数量过多）； 3）...

      hive通过将查询划分成一个或多个MapReduce任务达到并行处理的目的。每个任务都可能具有多个mapper和reducer任务，其中至少有一些是可以并行执行的。确定最佳的mapper个数和reducer个数取决于多个变量，例如输入的数据量大小以及对这些数据执行的操作类型等。　　保持平衡性是很有必要的，对于Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕,可怕的是数据倾...