Hadoop
Wills丶
这个作者很懒,什么都没留下…
展开
-
大数据学习-Hadoop-FileInputFormat源码分析
本片文章开始整理FileInputFormat切片源码解析(input.getSplits(job))的学习笔记getSplitspublic List<InputSplit> getSplits(JobContext job) throws IOException { // 开启一个计时器,计时的单位是纳秒 StopWatch sw = new StopWatch().start(); // 设置minSize的初始值,做法是取最小切片的大小和配置切片的最小值中的最大值作原创 2020-11-11 10:17:24 · 303 阅读 · 0 评论 -
大数据学习-Hadoop-Job提交源码分析
由于近期有想转大数据行业的想法,所以开始研究大数据,我也会慢慢的将我的学习资料发到平台上来,今天带大家看一下Hadoop的MapReduce的Job提交工作的源码分析!代码大致流程Driver类调用waitForCompletion方法job.waitForCompletion(true);首先执行submit方法进行异常判断ensureState(JobState.DEFINE);API转换setUseNewAPI();连接创建connect();创建提交job代理ne原创 2020-11-10 16:36:14 · 178 阅读 · 0 评论