Oozie简单记录

介绍

用于定时调用任务

WorkFlow 三个组成内容

WorkFlow 常用节点

执行流程

安装配置

hadoop 配置

配置 hadoop 8个文件
slaves 配置DataNode节点，三个sh文件配置java_home，
四个xml文件
	core-site.xml 
		配置NameNode地址和产生文件的存储目录
		oozie需要额外配置代理用户，代理HostName节点和用户组，避免读取数据权限等问题
	hdfs-site.xml 配置副本数量和SecondNameNode地址
	mapred-site.xml 
		配置指定yarn调度
		oozie根据历史服务器来监控任务执行情况，这里要配置MR历史服务器地址
	yarn-site.xml 
		可配置resourceManager地址，开启yarn日志等
		配置历史服务器地址

ooize配置

使用

1 定义工作流程：编写workflow.xml，job.properties调整参数
2 将workflow.xml，job.properties配置文件上传到hdfs指定路径
3 oozie job 执行任务

Oozie调度shell脚本

Job.properties
ooize.wf.application.path 就是两个配置文件要上传的位置

通过 ok to=“fork/joining” 等来实现任务的自定义调度

调度Mapreduce任务时，配置mr信息即可

配置定时任务