HIVE常用优化参数

12 篇文章 0 订阅

常用MapReduce作业配置参数

可在客户端的mapred-site.xml中配置,作为MapReduce作业的缺省配置参数。也可以在作业提交时,个性化指定这些参数。

在这里插入图片描述
常见问题及参数设置

1、提交作业java.lang.OutOfMemoryError: Java heap space 或者长时间提交不了集群job
os.environ[“HADOOP_CLIENT_OPTS”]="-Xmx16g"

2、java.io.IOException:Split metadata size exceeded 10000000
set mapreduce.job.split.metainfo.maxsize=-1

3、map数超过50000的job设置:
set mapreduce.job.running.map.limit=50000;

4、beyond virtual memory limits
yarn.app.mapreduce.am.command-opts=-Xmx8192m
yarn.app.mapreduce.am.resource.mb=9216

5、 执行出现 java.io.IOException: Split metadata size exceeded 10000000错误时,设置如下参数:

set mapreduce.jobtracker.split.metainfo.maxsize = -1

其他常用参数设置

java 堆内存溢出:

// MAP YARN 申请内存

set mapreduce.map.memory.mb=4096;
// MAP JVM 内存
set mapreduce.map.java.opts=-Xmx3572M;
// REDUCE YARN 申请内存
set mapreduce.reduce.memory.mb=5120;
// REDUCE JVM 内存
set mapreduce.reduce.java.opts=-Xmx4096M;
// AM YARN 申请内存
set yarn.app.mapreduce.am.resource.mb=2000;
// AM JVM 内存
set yarn.app.mapreduce.am.command-opts=-Xmx1524m;
//动态分区属性,全局可以创建的最大文件个数
set hive.exec.max.created.files=100000;

一般 JVM 参数可以是 Yarn 申请内存的 80%, 如果 都比较大,可以酌情
// 开启任务并行执行
set hive.exec.parallel=true;

// 同一个sql允许并行任务的最大线程数
set hive.exec.parallel.thread.number=8;

//存储临时Hive统计信息的方式
set hive.stats.dbclass=counter;

HiveSQL控制map数和reduce数

1、若读取小文件较多,则设置在map端进行小文件合并参数

set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

set hive.hadoop.supports.splittable.combineinputformat = true;

set mapreduce.input.fileinputformat.split.maxsize = 256000000;

set mapreduce.input.fileinputformat.split.minsize.per.node=256000000;

set mapreduce.input.fileinputformat.split.minsize.per.rack=256000000;

2、配置MR任务结束后进行文件合并

set hive.merge.mapfiles = true;

set hive.merge.mapredfiles = true;

set hive.merge.size.per.task = 256000000;

set hive.merge.smallfiles.avgsize=256000000;

动态分区无Reduce产生小文件处理

在设置动态分区后,产生的文件数会取决于map数和分区数的大小,假设动态分区初始有N个map数,同时生成M个分区,则中间会生成N*M个文件,通常这种情况就是让大部分数据尽量输出到一个reduce中进行处理,但是有些HiveSql不会产生reduce,也就是说文件最后没有进行合并处理,这种情况下可以用distribute by rand()的方式保证数据进行一次reduce操作,实现文件的合并。

两种处理方式参数设置如下:

1、 设置reduce个数

set mapred.reduce.tasks=50;

insert into table xxx

select

from

xxx

distribute by rand();

备注:set设置的参数是生成的文件个数,distribute by rand()保证数据随机分配到50个文件中。

2、设置每个reducer处理的数据

set hive.exec.reducers.bytes.per.reducer=5120000000;

insert into table xxx

select

from

xxx

distribute by rand();

备注:set设置的参数是生成的文件大小,distribute by rand()保证数据的平均大小是512Mb。

Reduce数设置

在设置reduce数时,一定要遵循以下公式:

reduce数 * 分区数 < 6W

reduce数=60000 / 分区数

//设置reduce数

set hive.exec.reducers.max = reduce数

  • 4
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值