（笔记）mapreduce中关于切片的总结及混淆

上传给map的切片

1.根据hadoop版本不同，切片的默认大小不同（与块大小相同），目前一般为128M，还有64M。也可自己定义（一般不自己定义）。

2.切片的数量决定了起的maptask的数量，多少个切片对应多少个maptask。

3.一个小文件就是一个切片，就算不到128m，也是一个切片。例如：有三个文件，2M、4M、129M，这是四个切片（有个1.1倍原则：每次切片时，要判断剩下的部分是否大于块的1.1倍，如不大于，则划分为一个切片）。一般会通过自定义inputformat对小文件进行处理。（这儿和hdfs中的块的概论有点混淆）

3.1与块的联系

每个切片大小与块一样大

一个块就是一个切片，对应一个maptask（目前是这样理解）

4.上传的切片并不是文件的数据，它是包含了数据的长度、数据位置。

5.文件在Linux上占用的大小和在hadoop上占用的大小不同，2M的文件在Linux上占用的大小是2M，在HDFS上占用的是128M（一个块）。