kokojhuang-CSDN博客

原创 Hadoop源码分析之NameNode--Format

前几天在测试hadoop的时候，由于重复执行了NameNode - Format操作，中间发现一些问题，于是就研究了一下NameNode -- Format操作的过程，在这里记录一下。 NameNode在启动的时候会check meta和image的存储目录( dfs.namenode.name.dir )是否存在，指定的目录不存在，就把报没有对应的目录而退出整个启动过程。而该初始化动作在fo

2013-05-12 14:29:13 2050

原创 Java读写锁问题

前几天在对HBase Client进行优过程中，需要扩展HTable，需要加一个Timer来对Client buffer进行定时的flush。由于HTable不是线程安全的，所以为扩展的HTable使用了Java ReentrantReadWriteLock来进行读写锁。在不同的方法中加了读锁或者写锁，从而导致了死锁的问题。看了一下文档，Java的读写锁只能downgrading不能upgra

2013-05-12 13:59:25 1003

原创 Hadoop源码分析之二(RPC机制之Call处理)

上一篇介绍整个RPC Server端的处理机制。下面介绍在整个处理机制中怎么把具体的Request Call转换并调用到整体的实现逻辑。主要以NameNode Client PRC Server作为例子来说明，整个转换通过Google Protocol Buffer RPC来实现。 final Call call = callQueue.take(); // po

2012-12-31 23:50:25 934

原创 Hadoop源码分析之一(RPC机制之Server)

网上已经有很多关于Hadoop源码分析的好文，在这记录的目的是把自己在看Hadoop源码时自己的一些体会，方便日后查询巩固。想了解Hadoop是如何工作的，首先需要了解Hadoop RPC原理。Hadoop提供了一个统一的RPC机制来处理client-namenode, namenode-dataname,client-dataname之间的通信。整个机制中主要运用了如下技术： Ja

2012-12-31 23:04:25 950

由于Map/Reudce Job是运行在hadoop分布式环境中，所以给日常开发map/reduce的时候带来了很多不便，包括调试或者测试等。但是Apache下面一个开源的项目(MRUnit)可以对Map/Reduce进行单元测试，这样就可以使用单元测试用例来对Map/Reduce进行Debug，从而也可能通过丰富的测试用例来进行测试。可以在本地开发机上保证基本业务正确的前提下，再发布到hadoo

2012-12-21 16:21:18 1244

原创自定义Hadoop Writable

hadoop中已经定义了很多Writable的实现，基本上可以符合我们日常使用，但是在一些特殊的场景我们可能还是需要自己去实现Writable，下面主要说明如何去实现自己的Writeable，及使用自定义的Writable作为map/reduce中的key值时遇到的一些问题。首先需要实现org.apache.hadoop.io.Writable这个接口，该接口有write和readFields

2012-12-09 22:36:14 2900

原创 java.util.ServiceLoader使用

今天在看hadoop源代的时候发现，在FileSystem中用到了java.util.ServiceLoader这个类来从配置文件中加载子类或者接口的实现类。以前从来没有使用过这个类，进去大概看了一下具体的实现。主要是从META-INF/services这个目录下的配置文件加载给定接口或者基类的实现，ServiceLoader会根据给定的类的full name来在META-INF/services

2012-12-08 20:11:07 15985 1

原创 Hadoop CDH4伪分布式安装

对于一名Hadoop开发人员来说，第一件事就是需要安装一个自己的Hadoop环境供日常的开发及学习使用，本文主要介绍如何安装Hadoop CDH4的伪分布式环境。由于Hadoop是由Java编写，因此需要运行在JDK 1.6以上平台，所以第一步需要安装相应的JDK。相应的JDK可以通过下面这个连接下载。 JDK Download Page 安装JDK [kevin

2012-12-06 23:08:33 1650

石头的专栏