超级会员免费看
本文详细介绍了Hadoop中MapReduce的InputSplit和HDFS块的概念及其区别。InputSplit是数据分片，由InputFormat决定如何切分，一个InputSplit对应一个Mapper处理。HDFS块是数据存储的基本单位，默认大小为128MB。InputSplit逻辑上对输入数据进行分片，不改变物理存储。自定义InputFormat可以调整InputSplit行为。
MapReduce InputSplit 与 HDFS 块
InputSplit 即数据分片，HDFS 块（block）即分布式存储系统的数据块概念。下面详细介绍这两个概念的区别和联系。
HDFS 块与 InputSplit
HDFS 块
块是硬盘上存储数据的一个连续位置。通常，文件系统将数据存储成块的集合。同样的方式，HDFS 以块的方式存储文件。Hadoop 应用程序负责在多个节点分配数据块。
InputSplit
InputSplit 即我们所说的数据分片，一个单独的 mapper 处理的数据由 InputSplit 提供，即一个数据分片对应被一个 mapper 处理，数据分片会转换成记录，每个记录（即键值对）会被 map 处理。map 任务的个数等于数据分片的数量。
一开始 MapReduce 任务处理的数据是存储在输入文件的，而输入文件一般在 HDFS 。输入文件如何被读取和切分由 InputFormat 类来决定，另外它还负责创建 InputSplit。
InputSplit 和 块的比较
让我们来讨论 MapReduce In
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
