![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop基础知识
fengzhif0001
这个作者很懒,什么都没留下…
展开
-
HDFS中Block size的默认大小
关于block size的默认大小,有的说是64 MB,有的说是128 MB。 那么具体是从哪个版本由64 MB变成128 MB的?有的说是Hadoop 1.X版本是64MB,2.X版本是128MB,有的说Apache Hadoop 是64MB,Clouder Hadoop是128MB。 为了确认上述问题的答案,从Hadoop的官网上看了各个版本的说明文档中关于 Data Blocks 的说明...转载 2019-01-12 15:11:46 · 11818 阅读 · 0 评论 -
Hadoop中 MapReduce中InputSplit的分析
前言 MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。 什么是InputSplit InputSplit是指分片,在MapReduce当中作业中,作为map task最小输入单位。分片是基于文件基础上出来的而来的概念,通俗的理解一个文件可以切分为多少个片段,每个片段包括了<文件名,开始位置,长度,位于哪些主机>等信息。在MapTa...转载 2019-01-13 13:19:24 · 790 阅读 · 0 评论