mapreduce的理解

1、map和reduce有时会启动两个task，这两个task完成的是同一个任务，如绿框中的红框所示，为读取的block块的索引，红色大框中的任务为任务名称，蓝色框为运行任务的主机。

2、两个任务同时运行是为了提高map、reduce的运行速度，哪一个运行的快，就会将另一个任务kill掉，如图红色边框内，第二个任务被杀掉，在右侧的备注说明中，记录了被杀掉的原因，由于第一个任务已经运行完毕。

3、一个数据block备份三份，三份数据在不同的datanode节点上。

4、一个map、reduce启动一个jvm，jvm可重用，直到该job结束。map是根据block的大小划分出多个map，同时可以设定reduce的个数。

map每次执行一行数据，因此mapper类中的map函数会在一个map task中被多次调用。reducer中的reduce也会被多次调用。

map阶段会进行分区，根据reduce的个数，取余，讲一个key分给一个reduce；map阶段会进行排序，根据reduce的标示大小，对map排序，输出到hdfs中。

reduce阶段，从各个map中找到标示相同的reduce进行合并；然后各个reduce进行排序；队排序结果进行分组；输出

5、cpu的核数，每个核每次执行一个或多个线程，线程可以抢占cpu；cpu的负载是每个核执行任务的负载度。mapreduce中需要进行压缩和解压，因此每个核的任务负载不是很高，便于突发的任务有压缩和解压的需要，及时的调整cpu的核的使用。在spark中不支持解压，因此每个核都是满负荷工作，提高运算速度。

6、24核cpu，32G内存，2T硬盘，万兆带宽，每天原始数据量1T，处理完2~3T，其中包括压缩和非压缩的数据。