hive 优化 tips

最新推荐文章于 2023-07-20 10:47:55 发布

kntao

最新推荐文章于 2023-07-20 10:47:55 发布

阅读量5.1k

点赞数

分类专栏： hive hadoop 文章标签： hive

本文链接：https://blog.csdn.net/kntao/article/details/12838197

版权

hadoop 同时被 2 个专栏收录

14 篇文章 0 订阅

订阅专栏

hive

5 篇文章 0 订阅

订阅专栏

一、 Hive join优化

1. 尽量将小表放在join的左边，我们使用的Hive-0.90,所以是自动转化的，既把小表自动装入内存，执行map side join(性能好), 这是由参数hive.auto.convert.join=true 和hive.smalltable.filesize=25000000L）参数控制（默认是25M），如果表文件大小在25M左右，可以适当调整此参数，进行map side join，避免reduce side join。也可以显示声明进行map join：特别适用于小表join大表的时候，SELECT /*+ MAPJOIN(b) */ a.key, a.value FROM a join b on a.key = b.key

2. 注意带表分区的join，如：

SELECT a.val, b.val FROM a LEFT OUTER JOIN b ON (a.key=b.key) WHERE a.ds='2009-07-07' AND b.ds='2009-07-07'

因为hive是先join再where的，所以如果在b中找不到a表的记录，b表中的所以列都会列出null，包括ds列，这样left outer的查询结果与where子句无关了，解决办法：

SELECT a.val, b.val FROM a LEFT OUTER JOIN b ON (a.key=b.key AND b.ds='2009-07-07' AND a.ds='2009-07-07')

3. 怎样写exist/in子句？

Hive不支持where子句中的子查询，SQL常用的exist in子句需要改写。这一改写相对简单。考虑以下SQL查询语句：

SELECT a.key, a.value FROM a WHERE a.key in (SELECT b.key FROM B);

可以改写为

SELECT a.key, a.value FROM a LEFT OUTER JOIN b ON (a.key = b.key) WHERE b.key <> NULL;

一个更高效的实现是利用left semi join改写为：

SELECT a.key, a.val FROM a LEFT SEMI JOIN b on (a.key = b.key);

4. Hive join只支持等值连接，不支持非等值连接。

5. 合理的使用map join，场合：小表A join 大表，

二、合理设置map与reduce的个数。

1、如何合并小文件，减少map数？

如果一个表中的map数特别多，可能是由于文件个数特别多，而且文件特别小照成的，可以进行如下操作，合并文件，：

set mapred.max.split.size=100000000; // 100M

set mapred.min.split.size.per.node=100000000;

set mapred.min.split.size.per.rack=100000000;

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; // 合并小文件

2、如何适当的增加map数？

如果表A只有一个文件，大小为120M，包含几千万记录，可以考虑用多个map任务完成

set mapred.reduce.tasks=10;

create table a_1 as

select * from a

distribute by rand(123); //将a表的记录，随机的分散到包含10个文件的a_1表中

3、hive如何确定reduce数， reduce的个数基于以下参数设定：

hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）

hive.exec.reducers.max（每个任务最大的reduce数，默认为999）

计算reducer数的公式很简单N=min(参数2，总输入数据量/参数1)

即，如果reduce的输入（map的输出）总大小不超过1G,那么只会有一个reduce任务；所以调整以下参数：

set hive.exec.reducers.bytes.per.reducer=500000000; （500M）

set mapred.reduce.tasks = 15;

三、如果设计和使用bucket,

Buckets 对指定列计算 hash，根据 hash 值切分数据，目的是为了并行，每一个 Bucket 对应一个文件。将 user 列分散至 32 个 bucket，首先对 user 列的值计算 hash，对应 hash 值为 0 的 HDFS 目录为：/wh/pvs/ds=20090801/ctry=US/part-00000； hash 值为 20 的 HDFS 目录为：/wh/pvs/ds=20090801/ctry=US/part-00020

所用场合：对某一列进行分区，比如对用户ID进行分区，例如：

CREATE TABLE weblog (user_id INT, url STRING, source_ip STRING)

> PARTITIONED BY (dt STRING)

> CLUSTERED BY (user_id) INTO 96 BUCKETS; // 按照日期分区后，再按照user_id把日志放在96个篮子里。插入数据的时候：

hive> SET hive.enforce.bucketing = true;

hive> FROM raw_logs

> INSERT OVERWRITE TABLE weblog

> PARTITION (dt='2009-02-25')

> SELECT user_id, url, source_ip WHERE dt='2009-02-25'

四、 Count(distinct)

当count distinct 的记录非常多的时候，设置以下两个参数：

hive> hive.map.aggr = true