hive调优

hive调优

explain select count(*) from table_name;

explain extended select count(*) from table_name;

核心思想

1. 把hive sql当作mapreduce程序去优化

2. 以下sql 不会转为Mapreduce来执行 select 及查询本表字段，where仅对本表字段条件过滤

hive对某些情况的查询不需要使用map reduce

1.抓取策略 set hive.fetch.task.conversion=none/more;

默认值为more；设为none后，单表查询时mapreduce任务；

本地模式快的原因

2. 本地执行

1. set hive.exec.mode.local.auto=true;
2. hive.exec.mode.local.auto.inputbytes.max=128m；
3. 超过最大值，依然时集群模式；

3. 并行执行

1. set hive.exec.parrallel=true
2. hive.exec.parallel.thread.number

4. 严格模式

1. 严格模式下，指定了分区表，查询必须使用分区
2. 严格模式的order by 必须使用limit，会导致数据倾斜
3. 限制笛卡尔积的查询

5. 排序

1. order by 对于查询结果进行全排序，只允许一个reduce处理，数据量大时，慎用，必须结果limit使用
2. sort by 对于单个reduce的数据进行排序；
3. distribute by 分区排序，经常和sort by结合使用
4. cluster by 相当于 distribute by +sort by
   1. 不能通过asc ，desc的方式指定排序规则

6. Join优化

1. Map join 在map端完成join；

   1. sql方式 select /*+ MAPJOIN(small table)*/,bigtable.value from smalltable join bigtable on smalltable.v = bigtable.v;

   2. 开启自动mapjoin

      1. set hive.auto.convert.join=true;

         1. 自动对左边的表进行统计，如果是小表就加入内存，即对小表使用map join；

      2. hive.mapjoin.smalltable.filesize

         [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9AULnLI6-1616810889480)(C:\Users\xiaoq\AppData\Roaming\Typora\typora-user-images\1616505290563.png)]

      3. hive.ignore.mapjoin.hint (默认true) 默认听自动的话

2. 大表join大表

   1. 空key过滤，分析异常key，减少key-v的数量，sql过滤异常key
   2. 空key转换，某个key为空对应的数据很多，相应的数据非异常数据，必须包含在join的结果中，key为空的字段随机赋值随机值，使数据随机均匀分配到不同reduce上

3. Map-site聚合–Map–combine类–map端的reduce

   1. set hive.map.aggr=true;
   2. hive.groupby.mapaggr.checkinterval
      1. map端group by执行聚合时处理的多少行数据（默认100000）
   3. hive.map.aggr.hash.min.reduction
      1. 进行聚合的最小比例，预先对10w条数据做聚合，若聚合之后的 数据量/10w>该配置（默认值0.5），则不会聚合（默认值0.5）
      2. hive.map.aggr.hash.percentmemory
         1. map端聚合使用的内存最大值
      3. hive.groupby.skewindata
         1. 是否对groupby产生的数据倾斜做优化，默认false；

9. 合并小文件

1. 文件数目小，文件存储造成压力，给hdfs造成压力，影响效率

2. 设置合并属性

   1. 合并map输出文件：hive.merge.mapfiles=true ( 默认true)
   2. 合并reduce输出文件：hive.merge.mapredfiles=true （默认false）
   3. 合并文件大小：hive.merge.size.per.task=256*1000*1000 （超过就不merge）

3. 去重统计

   1. 数据量小的时候无所谓，数据量大的情况下，由于count distinct操作需要用一个reduce task来完成，这一个reduce需要处理的数据量太大，就会导致job很难完成，一般count distinct 使用先group by 在count的方式替换

4. 控制hive中map以及reduce的数量

   task -->node–>rack

   1. Map数量相关的参数
      1. mapred.max.split.size —split的最大值，及每个map处理文件的最大值
      2. mapred.min.split.size.per.node —一个节点上split的最小值
      3. mapred.min.split.size.per.rack —一个机架上split的最小值
   2. Reduce数量相关的参数
      1. mapred,reduce.tasks —强制reduce任务的数量
      2. hive.exec.reducers.bytes.reducer —每个reduce任务处理的数据量
      3. hive.exec.reducers.max —每个任务最大的reduce数

5. JVM重用

   1. 适用场景
      1. 小文件个数过多
      2. task个数过多
   2. set mapred.job.reuse.jvm.num.task=n
   3. 缺点：设置开启后，task插槽会一直占用资源，不论是否有task运行，直到所有的task即整个job全部执行完成时，才会释放所有的task插槽资源；