Hive高级优化8种优化方式
问题导读:
1.怎样一直启用Fetch任务?
2.怎样开启JVM重用?
3.怎样合理设置reduce个数?
1. FetchTask
不执行mapreduce,提高速度
设置的三种方式:
方法一:
[Shell] 纯文本查看 复制代码
set hive.fetch.task.conversion=more;
方法二:
[Shell] 纯文本查看 复制代码
bin/hive --hiveconf hive.fetch.task.conversion=more
方法三:
上面的两种方法都可以开启了Fetch任务,但是都是临时起作用的;如果你想一直启用这个功能,可以在${HIVE_HOME}/conf/hive-site.xml
[XML] 纯文本查看 复制代码
hive.fetch.task.conversion
minimal<