weixin_42224362的博客

原创 mapReduce详细工作流程

@mapReduce详细工作流程 mapReduce详细工作流程 面试的时候对mapreduce过程不是很熟悉，写个文档记录分享一下 工作流程 读取指定目录下待处理文件，假设数据大小为200M； 在客户端submit()之前，获取待处理数据的信息，然后根据设置的配置参数，形成一个任务规划，就是切片信息，根据待处理数据文件大小根据参数配置划分为不同的文件，默认是128M进行切分，待处理数据文件就会被切分成两个文件； 切片完成之后，就会向Yarn提交切片信息（Job.split .jar job.xml）；