MapReduce剖析笔记之二:Job提交的过程

上一节以WordCount分析了MapReduce的基本执行流程,但并没有从框架上进行分析,这一部分工作在后续慢慢补充。这一节,先剖析一下作业提交过程。 在分析之前,我们先进行一下粗略的思考,如果要我们自己设计分布式计算,应该怎么设计呢?假定有100个任务要并发执行,每个任务分别针对一块数据...

2016-03-09 22:40:51

阅读数:938

评论数:0

MapReduce剖析笔记之一:从WordCount理解MapReduce的几个阶段

package org.apache.hadoop.examples; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; impo...

2016-03-09 22:17:33

阅读数:433

评论数:0

Hadoop2.6.0 mac 安装

1. 单机模式 (1) ssh设置远程登录: xiaolan:~ xiaolan$@ssh-keygen -t rsa -P "" xiaolan:~ xiaolan$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_key...

2015-07-08 12:05:53

阅读数:417

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭