在HUE上面使用oozie调度shell脚本

需求一:

            怎么在HUE上面使用oozie提交一个shell脚本

需求二:

             怎么在oozie上面实现周期重复执行

操作演示

step1:

        启动虚拟机的...

step2

        打开CM,查看HUE的状态:良好

step3:

        1.打开hue网页进入http://hadoop02:8889/hue  用户名、密码:hue

        2.在CM页面,进入HUE页面

step4:

需求一:怎么在HUE上面使用oozie提交一个shell脚本

        1.进入文件

        2.创建新目录:xls

 

         3.在新目录中新建文件:hellp_hue_oozie.sh

          4.进入新建的文件,在内部在线编辑shell脚本

先查看自己的虚拟机1.上面是否有我们下面创建的文件残留
[root@hadoop01 ~]#  cat /tmp/1.txt
cat: /tmp/1.txt: 没有那个文件或目录
您在 /var/spool/mail/root 中有新邮件
先查看自己的虚拟机2.上面是否有我们下面创建的文件残留
[root@hadoop02 tmp]# cat /tmp/1.txt
cat: /tmp/1.txt: 没有那个文件或目录
您在 /var/spool/mail/root 中有新邮件
HUE中,新建的文件中在线编辑shell脚本文件

        4.调度入口

 

         5.选择shell脚本文件,保存,提交

         6.脚本运行结束

 

 

拓展:

        思考:

          当我们使用oozie提交一个shell脚本执行之后,oozie会在集群中那台服务器上执行?从哪里确定他的执行?

        思路:

        oozie和hadoop 什么关系?是怎样提交脚本的?

 

            oozie是使用MapReduce作为任务提交器的,而且这个提交器是一个特殊的MR(特殊在于只有一个maptask,没有reducetask).

          因此这个提交器在哪台服务器提交任务,就会在那台服务器执行,

          至于在那台哪台服务器运行,取决于yarn分配资源的位置。

          直接到YARN上面去看MR的执行信息。

1.

2. 

 step5:

        需求二:怎么在oozie上面实现周期重复执行

1.入口

2.可以==配置coordinator来控制workflow的执行周期和触发频率==

 

 

 3.结束

 

拓展

 

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值