记录一下MapReduce的编程模型,文笔不好,水分较多
MapReduce把对大数据集的操作分发给主节点管理下的各个从节点共同完成,然后通过整合各个节点的数据,而得到最终的结果。
简单的说MapReduce:就是将任务分解然后再汇总
在hadoop中,执行hadoop任务的角色是JobTracker和TaskTracker
JobTracker:用于任务调度
TaskTracker:用于执行任务
(一个集群中只有一个JobTracker)
在分布式计算中,MapReduce负责处理并行编程中分布式储存、任务调度、容错机制,负载均衡、网络通信等问题。
处理程序分为两个函数:Map和Reduce
Map:负责将任务分解成多个任务
Reduce:负责把分解后的任务处理结果进行整合汇总
画个图好理解
1、MR任务:job = map + reduce
2、map的输出是reduce的输入
3、一共有四队输入输出,所有的输入输出都是<key, value>
键值对 | 对应的操作 |
---|---|
<k1,v1> | map的输入 |
<k2,v2> | map的输出 |
<k3,v3> | reduce的输入 |
<k4,v4> | reduce的输出 |
4、<k3,v3>和<k2,v2>:数据类型是一样的;区别:v3是一个集合,里面的每一个元素就是v2
5、map的输入是HDFS,reduce的输出也是HDFS
6、所有的输入输出类型必须是hadoop自己的数据类型
Java数据类型 | hadoop数据类型 |
---|---|
int | IntWritable |
long | LongWritable |
String | Text |
null | NullWritable |
为什么要用hadoop自己的数据类型,因为要实现序列化