乔木人 的 技术专栏

HDFSHDFS是一个分布式文件存储系统系统结构：一NameNode 和 多个 DataNode运算原理：1. 每个BigFile可以分为多个Block, 不同Block可以存放在不同DataNode, 每个Block可以有多个copy存放在不同DataNode上。NameNode保持文件Block的Meta数据信息。2. 读取文件时，client端从NameNode找到文

网上现有的Hadoop源代码分析与最新代码相比稍显落后。笔者本着学习总结目的，分析了Hadoop 2.02的源代码。一个完整的Hadoop MapReduce过程可以描述如下： Client端提交MapReduce Job到JobTracker; JobTracker调度Job, 生成MapTask和ReduceTask; 各TaskTracker接收MapTask和ReduceTask; TaskTracker为MapTask和ReduceTask启动新的Child Ta

一些背景知识RunJar方式加载类，在Client端程序中 则jar参数指定的独有的类会采用了URLClassLoader加载，而HADOOP_CLASSPATH指定的类会采用AppClassLoader加载。双亲委派中，AppClassLoader是parent, 加载时处于优先位置。 参考http://grepcode.com/file/repo1.maven.org/maven2/o

例行停止机器1. 例行卸载HDFS Datanode,可以先添加配置dfs.hosts.exclude， 然后主动更新节点。vim $HADOOP_HOME/conf/excludeshadoop dfsadmin -refreshNodes2. 例行卸载HBase的Region Server，可以采用graceful_stop命令./bin/graceful_stop.sh