如果从hadoop的单元测试开始研究源码的话,就不得不说下MiniDFSCluster。
MiniDFSCluster是一个本地单进程的模拟hdfs集群框架。
0.1.0版的比较简单,就以下几个内容:
1)NameNodeRunner:用来开启NameNode的一个线程;
2)DataNodeRunner:用来开启DataNode的一个线程;
3)shutdown方法:用来关闭上面开启的NameNode与DataNode;
4)getFileSystem方法:得到模拟hdfs的文件系统;
后期的版本还提供了一个模拟mapreduce的集群框架MiniMRCluster。