Hadoop的实质是什么

1. 一句话就是分而治之。

2. 通过FileSplit将用户传入的文件（可以是一个文本文件，多个文本文件，数据库的查询结果等）分割成小块，便于程序处理；

如何分割文件，hadoop提供了以下的RecordReader，用户还可以自己定义，如何分割文件，

FixedLengthRecordReader.java
KeyValueLineRecordReader.java
LineRecordReader.java
RecordReader.java
SequenceFileAsTextRecordReader.java
SequenceFileRecordReader.java

那么hadoop是如何分割多行是一个Record的文件的呢？自己写FileSplit。

Hadoop切分纯文本时对某一行跨两个分片这种情况的处理这篇文中提到的

skipFirstLine

不对，首先对Hadoop来说如果使用LineRecordReader的话，不会出现一行在两个不同分片上的问题，

然后skipFirstLine变量不是来标记是不是一行在两个分片上，而是因为LineRecordReader在除过第一次读之后，每次都是多读了一行。

3. 分完片之后，就是交给Map取执行，然后交给Reduce取总结，这期间有Job管理系统管理Map Job和Reduce Job，有HDFS提供文件访问。

refs：

http://hi.baidu.com/_kouu/item/dc8d727b530f40346dc37cd1