![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop源码分析
文章平均质量分 84
kokojhuang
这个作者很懒,什么都没留下…
展开
-
Hadoop源码分析之一(RPC机制之Server)
网上已经有很多关于Hadoop源码分析的好文,在这记录的目的是把自己在看Hadoop源码时自己的一些体会,方便日后查询巩固。 想了解Hadoop是如何工作的,首先需要了解Hadoop RPC原理。Hadoop提供了一个统一的RPC机制来处理client-namenode, namenode-dataname,client-dataname之间的通信。整个机制中主要运用了如下技术: Ja原创 2012-12-31 23:04:25 · 934 阅读 · 0 评论 -
Hadoop源码分析之二(RPC机制之Call处理)
上一篇介绍整个RPC Server端的处理机制。 下面介绍在整个处理机制中怎么把具体的Request Call转换并调用到整体的实现逻辑。 主要以NameNode Client PRC Server作为例子来说明,整个转换通过Google Protocol Buffer RPC来实现。 final Call call = callQueue.take(); // po原创 2012-12-31 23:50:25 · 911 阅读 · 0 评论 -
Hadoop源码分析之NameNode--Format
前几天在测试hadoop的时候,由于重复执行了NameNode - Format操作,中间发现一些问题,于是就研究了一下NameNode -- Format操作的过程,在这里记录一下。 NameNode在启动的时候会check meta和image的存储目录( dfs.namenode.name.dir )是否存在, 指定的目录不存在,就把报没有对应的目录而退出整个启动过程。而该初始化动作在fo原创 2013-05-12 14:29:13 · 2029 阅读 · 0 评论