HiveSession参数设置
搜集Hive在session端的一些常用参数设置
BabyFish13
不要急,慢慢来;控制好节奏,奋斗到底!
展开
-
Hive小文件合并
会话级Session配置文件数目过多,会给HDFS带来压力,并且会影响处理效率,可以通过合并Map和Reduce的结果文件来消除这样的影响:set hive.merge.mapfiles = true; ##在 map only 的任务结束时合并小文件set hive.merge.mapredfiles = false; ## true 时在 MapReduce 的任务结束时合并小文件...原创 2019-12-16 10:28:16 · 496 阅读 · 0 评论 -
Hive设置并行参数
hive里,同一sql里,会涉及到n个job,默认情况下,每个job是顺序执行的。如果每个job没有前后依赖关系,可以并发执行的话,可以通过设置该参数 set hive.exec.parallel=true,实现job并发执行,该参数默认可以并发执行的job数为8。可以通过hive.exec.parallel.thread.number来设置并发执行的job数。set hive.exec...原创 2019-11-19 10:46:39 · 6027 阅读 · 0 评论