Hive参数设置

set mapred.job.priority=VERY_HIGH;  --设置任务优先级

set hbase.client.scanner.caching=100000; --设置hbase每批次读取大小

set mapred.task.timeout=1800000 --设置超时时间

set mapred.reduce.tasks=8; --设置reduce数量

set hive.exec.parallel=true; --设置是否开启并行执行

set hive.exec.parallel.thread.number=4; --设置并行数目

set mapred.job.queue.name=pcsdev; --设置提交队列

set hive.cli.print.header=true; --设置是否输出表头

set Hive.optimize.skewjoin=true; --设置倾斜数据连接重新分区

set hive.groupby.skewindata = true; --groupby倾斜数据倾斜处理

set mapred.map.max.attempts=1; --设置失败重试次数，默认重试3次

set hive.exec.compress.output=false;设置中间数据是否压缩

set hive.fetch.task.conversion=more; 不开启MR直接返回数据