oozie使用

最新推荐文章于 2024-08-07 10:17:45 发布

DU_XXRS

最新推荐文章于 2024-08-07 10:17:45 发布

阅读量774

点赞数

分类专栏： oozie 文章标签： oozie

本文链接：https://blog.csdn.net/qq_35094452/article/details/80239239

版权

本文详细介绍了Apache Oozie的工作流程，包括如何配置、调度任务，以及在实际项目中如何结合Hadoop生态系统进行数据处理。通过实例解析，帮助读者深入理解Oozie在大数据工作流中的应用。

摘要由CSDN通过智能技术生成

oozie  job  -oozie  http://master:11000/oozie  -config  /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/share/doc/oozie-4.1.0+cdh5.7.2+282/examples/apps/*/job.properties  -run
1.所有流程做了一个统一的例子  
2.*：只需替换*文件夹路径
3.每次修改job.properties文件
4.配置文件在集群中的路径：/opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/share/doc/oozie-4.1.0+cdh5.7.2+282/examples/apps/map-reduce/job.properties

//杀死一个oozie进程



1.map-reduce:
oozie  job  -oozie  http://master:11000/oozie  -config  /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/share/doc/oozie-4.1.0+cdh5.7.2+282/examples/apps/map-reduce/job.properties  -run
2.sqoop
oozie  job  -oozie  http://master:11000/oozie  -config  /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/share/doc/oozie-4.1.0+cdh5.7.2+282/examples/apps/sqoop/job.properties  -run




oozie调度sqoop导入数据到oracle---->最近在使用sqoop把oracle中的数据导入到hbase中， 表中的数据每个小时导入一次，使用oozie定时促发。 

1.编辑coordinator.xml 
<coordinator-app name="cfg_check_formula-coord" frequency="${coord:hours(1)}" start="${start}" end="${end}" timezone="UTC"  
                 xmlns="uri:oozie:coordinator:0.2">  
    <controls>  
        <concurrency>1</concurrency>  
    </controls>  
  
    <action>  
        <workflow>  
            <app-path>${nameNode}/user/$