MapReduce是一种处理大数据的计算框架，基于分而治之的思想。它将复杂任务拆分为map和reduce两个阶段，map负责数据分类，reduce进行数据处理。执行流程包括客户端提交作业、资源文件复制到HDFS、任务初始化、数据分片与任务分配，以及map和reduce任务的执行，其中涉及数据本地化策略和多次排序与合并操作。
MapReduce2.x架构，（最大的改进是增加了namenode，防止一个挂掉有另一个可以起来顶替）
MapReduce就是分而治之的理念，把一个复杂的任务划分为若干个简单的任务分别来做。把一些数据通过map来归类，通过reducer来把同一类的数据进行处理。map的工作就是切分数据，然后给他们分类，分类的方式就是以key,value（键值对） 分类之后，reduce拿到的都是同类数据进行处理
MapReduce执行流程
1.客户端提交一个作业
2.JobClient与JobTracker通信，JobTracker返回一个JobID
3.JobClient复制作业资源文件
将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入
最低0.47元/天 解锁文章
扫一扫
434
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
