- 博客(2)
- 收藏
- 关注
RSS订阅原创 2020-09-11
切片机制 核心代码： maps = writeNewSplits(job, jobSubmitDir); //向资源提交路径提交job的切片信息 List splits = input.getSplits(job); //FileInputFormat类中的getSplits()方法 long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job)); //minSize==1 long maxSize = getMaxSplit
2020-09-11 20:45:13
33
原创 2020-09-11
# 客户端Job提交流程 job.waitForCompletion(true);此方法为Driver类中Job提交方法 submit(); ensureState(JobState.DEFINE); //判断job状态是否为DIFINE,如果为RUNNINF会报错 setUseNewAPI(); //里面有两套API，默认用新的API connect(); //建立连接，重点，生成集群代理对象cluster return new Cluster(getConfigu.
2020-09-11 20:29:26
37
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人