Oozie调度shell脚本

  1. 创建工作目录
     
  2. 在oozie-apps/shell目录下创建两个文件——job.properties和workflow.xml文件
     

  3. 配置job.properties

    #HDFS地址
    nameNode=hdfs://hadoop111:8020
    #ResourceManager地址,默认端口8032
    jobTracker=hadoop112:8032
    #队列名称
    queueName=default
    examplesRoot=oozie-apps
    #这里指定的是job.properties和workflow.xml文件上传到hdfs上的路径
    #结果:http://192.168.191.111:8020/user/kgf/oozie-apps/shell
    oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell
    

     

  4. 配置workflow.xml文件

    <workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
    <!--开始节点-->
    <start to="shell-node"/>
    <!--动作节点-->
    <action name="shell-node">
        <!--shell动作,对应job.properties里面的配置-->
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            <!--要执行的脚本,就是使用mkdir创建一个/usr/local/module/oozie-4.0.0-cdh5.3.6/test1路径-->
            <exec>mkdir</exec>
            <argument>/usr/local/module/oozie-4.0.0-cdh5.3.6/test1</argument>
            <capture-output/>
        </shell>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <!--kill节点-->
    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <!--结束节点-->
    <end name="end"/>
    </workflow-app>
    

     

  5. 上传任务配置到hdfs上的路径
      
     

  6. 执行任务,在/usr/local/module/oozie-4.0.0-cdh5.3.6目录下
     命令:
          bin/oozie job -oozie http://hadoop111:11000/oozie -config oozie-apps/shell/job.properties -run
     

  7. 效果
     
     
     

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值