hadoop客户端job提交流程
job提交流程(由客户端提交job)
说明:上传的job.jab就是自己自定义的jar包,用来在yarn实现MAP和Reduce
提交内容:
1、jar包
2、切片信息
3、xml配置文件
为什么要提交配置信息:job提交给yarn,生成appmaster,appmaster需要配置文件conf(job.xml)才能知道干什么
1.job.waitForCompletion(true) //开始提交Job
1.1 state == JobState.DEFINE //当前Job状态的判断,如果是runing状态则不提交(意思是当job在提交过程还没结束又再提交了一次是不行的)
1.2 submit(); //提交Job
1.2.1 setUseNewAPI(); //设置使用新的API