Hive 任务优化 tips

Hive 任务优化 tips

1.  集群任务队列:

一般有  root.default, root.online, root.offline, root.spark-thiftserver 

Hue提交的任务一般默认在 default队列

如果是紧急任务，可以提交到其他队列，会快很多

方法： 指定队列  set mapreduce.job.queuename = 

 

2. 如何kill yarn任务：

yarn application -kill application_id

 

3. HIVE 基本语义查询

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Add/ReplaceColumns

 

4. union all 优化

-- 开启任务并行执行
set hive.exec.parallel=true;
-- 同一个sql允许并行任务的最大线程数
set hive.exec.parallel.thread.number=8;

加在sql前面，适合union all多的情况，并行执行

 

posted on 2018-07-10 10:27  Suckseedeva 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/skyEva/p/9287641.html