分布式计算的思想 ------合久必分,分久必合(哈哈)
map reducce
input (输入) output(输出)
MAP端的含义:
注意:假设HDFS的block大小为64M,采用TextInputFormat,现有一个目录,下面两个文件
大小分为1M和120M,MapReduce处理这个目录下的数据时,默认情况下,将启动几个Map Task?
答:3个
注意: Block:HDFS中最小的数据存储单位,默认是64M;Split:MapReduce中最小的计算单元,默认与Block一一对应。
两者的对应关系是任意的,可有用户控制。
首先,由mapreduce处理时先启动相应数量的Map Task(我们由一个叫做Partitioner 的数据分组 决定了Map task输出的每条数据交给哪个Reduce Task处理)。
然后,Combiner:可以看做local reduce 合并相同的key对应的value,通常与reducer逻辑一样 ,好处是减少map task输出 数量(磁盘IO),见少Reduce-map网络传输数据量(I网络IO) 结果叠加 (map)
Shuffle:Shuffle描述着数据从map task输出到reduce task输入的这段过程 (
完整地从map task端拉取数据到reduce 端。
在跨节点拉取数据时,尽可能地减少对带宽的不必要消耗。
减少磁盘IO对task执行的影响。
)
Reduce的含义:
1.Reduce会接收到不同map任务传来的数据,并且每个map传来的数据都是有序的。如果reduce端接受的数据量相当小,则直接存储在内存中(缓冲区大小由mapred.job.shuffle.input.buffer.percent属性控制,表示用作此用途的堆空间的百分比),如果数据量超过了该缓冲区大小的一定比例(由mapred.job.shuffle.merge.percent决定),则对数据合并后溢写到磁盘中。
2.随着溢写文件的增多,后台线程会将它们合并成一个更大的有序的文件,这样做是为了给后面的合并节省时间。其实不管在map端还是reduce端,MapReduce都是反复地执行排序,合并操作,现在终于明白了有些人为什么会说:排序是hadoop的灵魂。