![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
oozie
文章平均质量分 55
a1a2a3a4
这个作者很懒,什么都没留下…
展开
-
oozie 参数含义
如何找到正确的oozie参数的含义?原创 2014-10-15 18:28:28 · 2163 阅读 · 0 评论 -
Hadoop Mapreduce优先级调度
作业提交到的队列:mapreduce.job.queuename作业优先级:mapreduce.job.priorityPig版本:SET mapreduce.job.queuename root.etl.distcp;SET mapreduce.job.priority HIGH;Hive版本:SET mapreduce.job.q原创 2014-09-29 15:06:00 · 7728 阅读 · 0 评论 -
map和reduce 个数的设定 (Hive优化)经典
一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过setdfs.block.size;命令查看到,该参数不能自定义修改);2. 举例: a) 假设input目录下有1个文件a转载 2014-09-28 10:59:42 · 490 阅读 · 0 评论 -
hive lateral view explode 使用
select SUPER_SITE_ID, split(tmp.cmapaign,',')[0] as SUPER_CMAPAIGN_ID , split(tmp.cmapaign,',')[2] as SUPER_POSITION from (原创 2014-09-24 17:32:16 · 453 阅读 · 0 评论 -
oozie 常用标签 -- coordinator.xml
xmlns="uri:oozie:coordinator:0.2"> 3600 20 ${execution_order} ${materialization_throttle} ${nameNode}/adx-data/lo原创 2014-10-15 19:07:28 · 1375 阅读 · 0 评论 -
oozie sqoop 参数中不能有空格,否则sqoop解析出错
oozie是hadoop生态系统中的工作流引擎,原创 2014-10-17 11:11:56 · 1662 阅读 · 0 评论 -
oozie sqoop 定位到出错的行
在使用oozie调度sqoop时候,经常会出错原创 2014-10-21 14:35:47 · 766 阅读 · 0 评论