hive参数优化-01

参数优化

--启用限制
set hive.limit.optimize.enable=true
--限制最大记录行数为10万条，必须要开启启动限制才会生效
set hive.limit.row.max.size=100000
--限制最大文件数为10个，必须要开启启动限制才会生效
set hive.limit.optimize.limit.file=10


--运行速度优化,对于小的数据量,则自动使用本地数据
set hive.exec.mode.local.auto=true


--开启hive的并行运行
set hive.exec.parallel=true


--配置hive的严格模式(strict)和非严格模式(nostrict)
hive.mapred.mode=nonstrict


--设置mapreducer为本地模式(local)和集群模式(cluster)
set mapred.job.tracker=local


--配置mapreduce为并行执行
set hive.exec.parallel=false


--配置动态分区为非严格模式(nostrict，可以指定变量)和严格模式(strict，必须是参数值)
set hive.exec.dynamic.partition.mode=nostrict
--配置最大分区数
set hive.exec.max.dynamic.partitions=1000
--配置每个MR上可创建的最大分区数
set hive.exec.max.dynamic.partitions.pernode=100

--配置hive的推测执行，如果要配置mapreduce的推测执行，则需要配置mapred.map.tasks.speculative.execution=true和mapred.reduce.tasks.speculative.execution=true
--set hive.mapred.reduce.tasks.speculative.execution=true

转载于:https://www.cnblogs.com/shenjie2017/articles/10300396.html