java架构师课程资源，MapReduce切片机制

2. 源码查看

注意:SPLIT_SLOP = 1.1，即当划分后剩余文件大小除splitSize大于1.1时，循环继续，小于1.1时退出循环，将剩下的文件大小归到一个切片上去。

// 128MB

long blockSize = file.getBlockSize();

// 128MB

long splitSize = computeSplitSize(blockSize, minSize, maxSize);

// 文件的大小 260MB

long bytesRemaining = length;

// 第一次 260/128=2.x > 1.1

// 第二次 132/128=1.03 <1.1 不执行循环

while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {

// 获取块的索引

int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);

// 将块的信息保存到splits集合中

splits.add(makeSplit(path, length-bytesRemaining, splitSize,

blkLocations[blkIndex].getHosts(),

blkLocations[blkIndex].getCachedHosts()));

// 260-128=132MB

bytesRemaining -= splitSize;

}

// 将剩余的132MB添加到splits集合中

if (bytesRemaining != 0) {

int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);

splits.add(makeSplit(path, length-bytesRemaining, bytesRemaining,

blkLocations[blkIndex].getHosts(),

blkLocations[blkIndex].getCachedHosts()));

}

3.切片总结

FileInputFormat中默认的切片机制

1. 简单地按照文件的内容长度进行切片

2. 切片大小，默认等于block大小，可以通过调整参数修改，注意1.1的问题

3. 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片

4. 一个切片(split)对应一个MapTask事例

5. 一个job的map阶段并行度由客户端在提交job时决定

比如待处理数据有两个文件：

file1.txt 260M

file2.txt 10M

经过FileInputFormat的切片机制运算后，形成的切片信息如下

file1.txt.split1-- 0~128
file1.txt.split2-- 128~260
file2.txt.split1-- 0~10M。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

分享一套我整理的面试干货，这份文档结合了我多年的面试官经验，站在面试官的角度来告诉你，面试官提的那些问题他最想听到你给他的回答是什么，分享出来帮助那些对前途感到迷茫的朋友。

面试经验技巧篇

• 经验技巧1 如何巧妙地回答面试官的问题
• 经验技巧2 如何回答技术性的问题
• 经验技巧3 如何回答非技术性问题
• 经验技巧4 如何回答快速估算类问题
• 经验技巧5 如何回答算法设计问题
• 经验技巧6 如何回答系统设计题
• 经验技巧7 如何解决求职中的时间冲突问题
• 经验技巧8 如果面试问题曾经遇见过，是否要告知面试官
• 经验技巧9 在被企业拒绝后是否可以再申请
• 经验技巧10 如何应对自己不会回答的问题
• 经验技巧11 如何应对面试官的“激将法”语言
• 经验技巧12 如何处理与面试官持不同观点这个问题
• 经验技巧13 什么是职场暗语

面试真题篇

• 真题详解1 某知名互联网下载服务提供商软件工程师笔试题
• 真题详解2 某知名社交平台软件工程师笔试题
• 真题详解3 某知名安全软件服务提供商软件工程师笔试题
• 真题详解4 某知名互联网金融企业软件工程师笔试题
• 真题详解5 某知名搜索引擎提供商软件工程师笔试题
• 真题详解6 某初创公司软件工程师笔试题
• 真题详解7 某知名游戏软件开发公司软件工程师笔试题
• 真题详解8 某知名电子商务公司软件工程师笔试题
• 真题详解9 某顶级生活消费类网站软件工程师笔试题
• 真题详解10 某知名门户网站软件工程师笔试题
• 真题详解11 某知名互联网金融企业软件工程师笔试题
• 真题详解12 国内某知名网络设备提供商软件工程师笔试题
• 真题详解13 国内某顶级手机制造商软件工程师笔试题
• 真题详解14 某顶级大数据综合服务提供商软件工程师笔试题
• 真题详解15 某著名社交类上市公司软件工程师笔试题
• 真题详解16 某知名互联网公司软件工程师笔试题
• 真题详解17 某知名网络安全公司校园招聘技术类笔试题
• 真题详解18 某知名互联网游戏公司校园招聘运维开发岗笔试题

资料整理不易，点个关注再走吧
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
笔试题

[外链图片转存中…(img-cw7xlMqQ-1713303283520)]

资料整理不易，点个关注再走吧
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！