![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 81
ToBeAndNotToBe
这个作者很懒,什么都没留下…
展开
-
hadoop code analyze-first try
原创 2011-08-08 17:51:01 · 810 阅读 · 0 评论 -
Hadoop之JobTrack分析
1.client端指定Job的各种参数配置之后调用job.waitForCompletion(true) 方法提交Job给JobTracker,等待Job 完成。 public void submit() throws IOException, InterruptedException, ClassNotFoundException原创 2012-01-09 15:31:40 · 6929 阅读 · 0 评论 -
关于Hadoop的shuffle
我们知道每个reduce task输入的key都是按照key排序的。 但是每个map的输出只是简单的key-value而非key-valuelist,所以洗牌的工作就是将map输出转化为reducer的输入的过程。 在map结束之后shuffle要做的事情: map的输出不是简单的写入本地文件,而是更多的利用内存缓存和预排序工作,以提高效率。io.so原创 2012-01-09 23:34:53 · 7614 阅读 · 0 评论 -
Hadoop之TaskTraker分析
TaskTracker的工作职责之前已经和大家提过,主要负责维护,申请和监控Task,通过heartbeat和JobTracker进行通信。 TaskTracker的init过程: 1.读取配置文件,解析参数 2.将TaskTraker上原有的用户local files删除并新建新的dir和file 3. Map tasks = new HashMa原创 2012-01-10 01:48:10 · 3863 阅读 · 0 评论 -
HDFS之NameNode分析
大家都知道HDFS的架构由NameNode,SecondaryNameNode和DataNodes组成,其源码类图如下图所示:正如上图所示,NameNode和DataNode继承了很多的protocol用于彼此间的通信,其实nameNode还实现了RefreshUserMappingsProtocol和RefreshAuthorizationPolicyProtocol两个协议,用于权限控原创 2012-01-11 21:59:54 · 5124 阅读 · 0 评论 -
zookeeper简介
zookeeper是一个开源分布式的服务,它提供了分布式协作,分布式同步,配置管理等功能. 其实现的功能与google的chubby基本一致.zookeeper的官方网站已经写了一篇非常经典的概述性文章,请大家参阅:ZooKeeper: A Distributed Coordination Service for Distributed Applications在此我仅花少量笔墨介转载 2012-02-04 15:29:24 · 3948 阅读 · 1 评论