手撸代码-Oozie-JavaAPI操作调度Workflow

// 1. 构建OozieClient实例对象
		OozieClient oozieClient = new OozieClient("http://bigdata-cdh01.cn:11000/oozie/");

		// 2. 构建Properties实例对象,设置属性值
		Properties jobConf = oozieClient.createConfiguration();

		// TODO: 动态加载属性配置文件的数据 -> job.properties,设置值
		// 2.1. 系统参数设置
		jobConf.setProperty("oozie.use.system.libpath", "true") ;
		jobConf.setProperty("user.name", "root") ;
		jobConf.setProperty("oozie.libpath",
			"hdfs://bigdata-cdh01.cn:8020/user/root/share/lib/lib_20190723215106/spark2") ;
		// 2.2. 必要参数信息
		jobConf.setProperty("nameNode", "hdfs://bigdata-cdh01.cn:8020") ;
		jobConf.setProperty("jobTracker", "bigdata-cdh01.cn:8032") ;
		jobConf.setProperty("queueName", "default") ;
		// 2.3. 应用提交运行yarn参数
		jobConf.setProperty("master", "yarn") ;
		jobConf.setProperty("mode", "cluster") ;
		jobConf.setProperty("sparkOptions",
			" --driver-memory 512m " +
				"--executor-memory 512m " +
				"--num-executors 1 " +
				"--executor-cores 1 " +
				"--conf spark.yarn.historyServer.address=http://bigdata-cdh01.cn:18080 " +
				"--conf spark.eventLog.enabled=true " +
				"--conf spark.eventLog.dir=hdfs://bigdata-cdh01.cn:8020/spark/eventLogs " +
				"--conf spark.yarn.jars=hdfs://bigdata-cdh01.cn:8020/spark/jars/*"
		) ;
		jobConf.setProperty("mainClass", "org.apache.spark.examples.SparkPi") ;
		jobConf.setProperty("appName", "SparkExamplePi") ;
		jobConf.setProperty("jarPath",
			"hdfs://bigdata-cdh01.cn:8020/user/root/oozie_works/wf_yarn_pi/lib/spark-examples_2.11-2.2.0.jar") ;
		jobConf.setProperty("appParam", "10") ;
		// 2.4. Oozie Workflow 参数
		jobConf.setProperty(OozieClient.APP_PATH,
			"hdfs://bigdata-cdh01.cn:8020/user/root/oozie_works/wf_yarn_pi/workflow.xml") ;

		// 3. 提交执行WorkFlow作业
		String jobId = oozieClient.run(jobConf) ;
		System.out.println("Job Id = " + jobId);

		// 4. 依据JobID获取状态信息
		while (oozieClient.getJobInfo(jobId).getStatus() == WorkflowJob.Status.RUNNING) {
			System.out.println("Workflow job running ...");
			Thread.sleep(10 * 1000);
		}
		System.out.println("Workflow job completed ...");
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据男

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值