1、MapReduce缺点是不擅长实时计算、流式计算、有向图(DAG)计算
MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段,如果用户的业务逻辑非常复杂,那就只能多个MapReduce程序,串行运行。
2、具体执行
一个完整的MapReduce程序在分布式运行时有三类实例进程:
1)、MrAppMaster:负责整个程序的过程调度及状态协调。
2)、MapTask:负责Map阶段的整个数据处理流程,完全并行运行,互不相干
3)、ReduceTask:负责Reduce阶段的整个数据处理流程,完全并行运行,互不相干,但是依赖于上一个阶段的所有MapTask并发实例的输出。
3、编程规范
用户编写的程序分成三个部分:Mapper、Reducer和Driver。
打成jar包,将jar包传递到分布式文件系统进行运行,此时输入、输出都是分布式文件系统上的目录。
也可以传递本地路径,使其在本地进行保存输出。
4、Hadoop序列化
具体实现bean对象序列化步骤:注意反序列化的顺序和序列化的顺序完全一致
1)、实现Writable接口
2)、反序列化时,需要反射调用空参构造函数,所以必须有空参构造
3)、重写序列化方法
4)、重写反序列化方法
5)、要想把结果显示在文件中,需要重写toString()
6)、如果需要将自定义的bean放在key中传输,则还需要实现Comparable接口,因为MapReduce框中的Shuffle过程要求对key必须能排序
5、MapReduce框架原理
一个job可以启动多个MapTask任务。
MapTask并行度决定机制: