- 博客(2)
- 收藏
- 关注
RSS订阅原创 心血来潮，来总结一下MapReduce程序内部处理数据流程
最近再准备着面试，就回顾了一下mr程序内部处理数据的流程。顺便总结一下有写的不合理的地方，请大家多多包涵，并帮我指出（以读取文本文件为例，前两步不同的实现类所拿到的数据结构不同）1、程序被提交后mrappmaster会给它们分配任务,告知mapTask所要处理的文件切片2、mapTask程序开始运行，mapTask会通过调用TextInputFormat这个类的createRecordReader...
2018-06-26 21:26:02
415
原创 mapreduce的两种提交运行模式
mapreduce的运行模式有两种：1.mr程序的分布式运行：必须在yarn平台上核心特点： 整个运行流程由MapAppMaster控制 每一个task（maptask，reducetask）以及MapAppMaster都以独立的进程运行在nodemanager所提供的容器中执行。 2.mr程序的本地运行：本地以单线程多线程的方式进行 核心特点： ...
2018-04-12 21:31:51
520
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人