Hadoop
malik76
这个作者很懒,什么都没留下…
展开
-
在Ubuntu9.04上配置Hadoop集群
参考《Hadoop开发者入门专刊.pdf》实践环境:Ubuntu9.04+jdk1.6.20+hadoop-0.20.2(两台实体机)机器名 IP 作用ibm 125.216.227.173 NameNode、master、jobTrackeribm01 125.216.227.152 DataNode、slave、taskTracker安装步骤:1、安装ubuntu9.04 我用ub原创 2010-07-12 22:02:00 · 1938 阅读 · 0 评论 -
单机测试HDFS多机架模拟
单机测试HDFS性能,HDFS的机架感知是需要配置,若没有配置则默认全部机器属于/default-rack。现需要模拟出多机架,又不需要去写脚本,Hadoop的测试框架已经提供了这样的功能,利用StaticMapping类就可以建立机器与机架的映射。…… co原创 2011-09-02 14:29:32 · 1570 阅读 · 0 评论 -
org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException
org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException: Not replicated yet:/nnThroughputBenchmark/addblock/AddblockBenchDir0/Addbl原创 2011-09-02 14:26:33 · 4189 阅读 · 1 评论 -
HDFS数据块恢复算法的思考
HDFS数据块恢复算法的触发时机有2处:一处是FSNamesystem.internalReleaseLease(Lease lease, String src);(租约恢复算法)一处是Client写pipeline时某个Datanode出现错误而触发,具体见DFSCli原创 2011-08-22 14:38:49 · 2127 阅读 · 0 评论 -
Hadoop源码的疑问
记录一下自己对于Hadoop源码的问题,版本0.20.2。1,在FIFO算法中,一个Job的status是什么时候被设为RUNNING的?2,《Hadoop权威指南2nd》210页关于“The Relationship Between Input Splits and HDFS Blocks”这部分也不是很理解,TextInputFormat的getSplits()会调用父类FileInp原创 2011-12-15 21:32:28 · 798 阅读 · 0 评论 -
Raid常用代码片段备忘
DistributedRaidFileSystem其实就是装饰者设计模式中的装饰者,对DistributedFileSystem进行了封装,关键是DistributedRaidFileSystem.ExtFSDataInputStream.ExtFsInputStream对FSInputStream.read(byte[] b, int offset, int len)封装,捕获BlockMiss...原创 2011-08-19 11:00:45 · 134 阅读 · 0 评论 -
运行Hadoop测试代码
$ cd $HADOOP_HOME$ ant jar-test$ bin/hadoop jar build/hadoop-0.19.1-dc-test.jar//从列表中选择想运行的程序TEST_PROGRAM$ bin/hadoop jar build/hadoop-0.19.1-dc-test.jar TEST_PROGRAM [args...] 若报错:Cause...原创 2011-08-28 17:16:46 · 291 阅读 · 0 评论