hadoop之MapReducer作业的提交执行过程

debug信息

列出要切片的所有文件:[DeprecatedRawLocalFileStatus{path=file:/D:/a.txt; isDirectory=false; length=58; replication=1; blocksize=33554432; modification_time=1481531168562; access_time=0; owner=; group=; permission=rw-rw-rw-; isSymlink=false}]

文件block信息[0,58,localhost]{起始位置偏移量,长度,所在主机}
判断是不是可以切分
获取block块大小
计算切片大小,返回splitSize
执行切片逻辑:
while (((double) bytesRemaining)/splitSize > SPLIT_SLOP){SPLIT_SLOP=1.1}待切片大小/splitSize必须大于1.1倍的时候才进行切下一个
splits.add(makeSplit(path, length-bytesRemaining, bytesRemaining,
                       blkLocations[blkIndex].getHosts(),
                       blkLocations[blkIndex].getCachedHosts()));将切好的放入集合
[file:/D:/a.txt:0+58]返回切好的切片包括地址起始位置和长度
加入数组进行排序大的放在前边
返回数组大小,设置map的数量

writeConf(conf, submitJobFile);将job的信息写入描述文件.....


bbaiggey/mapred/local/localRunner/hadoop/job_local1171546085_0001/job_local1171546085_0001.xml----拷贝资源到运行目录



































mapreduce.job.queuename
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值