大数据的三驾马车（二）：MR

最新推荐文章于 2024-11-10 22:39:42 发布

becky-duet

最新推荐文章于 2024-11-10 22:39:42 发布

阅读量55

点赞数

分类专栏：大数据之路文章标签：大数据 mr hadoop

本文链接：https://blog.csdn.net/2301_76763123/article/details/130344367

版权

3 篇文章 0 订阅

订阅专栏

计算：MapReduce

“Do one thing, and do it well”

针对存放在上千个节点的 GFS 上的数据，如何进行数据处理？

计算需求举例：统计网页的访问频次，有三个字段：URL、用户ID和访问时间，数据存储在GFS上。

SELECT URL, COUNT(*) FROM url_visit_logs GROUP BY URL ORDER BY URL

如何做好服务器之间的协同？

提交MR任务后：

根据指定的输入路径找到对应的数据，对数据进行分片split，等于GFS中一个块Block的大小，然后MR会在整个集群上启动很多个MR的复刻fork进程。
在这些进程中，有一个是master进程，剩下的是worker进程。我们有M个map人物和R个reduce任务分配给worker去处理，而master进程是负责找到空闲的worker进程，然后把任务分配给worker进程处理。

PS：hadoop 2.0后的版本master的角色是Resource Manager，worker的角色是Application Master.

被分配到map任务的worker会读取某个分片，变成key-value给map任务，Map函数计算完后，会生成新的key-value对缓存在内存中。
缓存的key-value对，会定期写到map任务所在机器的本地硬盘上。并且按照一个分区函数，把输出的数据分成R个不同的区域，这些本地文件的位置会被传给master节点，master节点转发给reduce任务所在的worker那里。
reduce任务的worker在收到master通知后，会通过RPC从map任务所在机器的本地磁盘上抓去数据。当获取完所有的数据后，reduce任务会将文件根据Key排序，相同key的value会被放在一起，也就是shuffle过程。
reduce任务最后执行Reduce函数，并把结果输出到当前reduce分片最终的输出文件里。
当所有map和reduce任务执行完后，master会唤醒启动MR任务的用户程序，然后回到用户程序里，执行MR任务提交之后的代码逻辑。

如何解决软硬件的容错？

重新运行
master节点会定期去ping每一个worker节点，如果失效，会重新在另一台服务器上，启动worker进程，重新运行所有在失效节点上分配的任务。
写Checkpoints
如果是master节点失效呢？master存放的信息会作为Checkpoints定期写入到硬盘里去。调度系统监控master，如果失效了启动一个新的master来读取cp数据，然后就可以恢复任务的继续执行了。