MercedesQQ的专栏

之前用Whirr在AWS EC2上创建了一个Hadoop集群，我想更改一些配置，比如hadoop-site.xml，mapred-site.xml这些文件中的系统配置。更改完之后需要重启hadoop，结果就遇到麻烦了。Whirr这个工具是有stop-services, start-services和restart-services这些命令的，但是我试了一下，竟然无效。用putty登录到master

今天想试试Hadoop的FairScheduler，结果遭遇了十分诡异的问题。奋斗了一天才基本解决。这里记录一下解决过程和方法，以免日后遗忘了。首先解释一下何谓FairScheduler。在默认配置下，当我们同时提交多个MapReduce的job给一个Hadoop集群的时候，Hadoop的处理方式是把job队列式的一个一个执行。更具体一点儿说，Hadoop在同一时刻只执行一个job的Map或者

前言在AWS EMR（Elastic MapReduce）中，可以通过设置Bootstrap Action来为Hadoop集群安装Ganglia来监视集群的运行状况。EMR在lauch所有instance之后会自动帮你下载Ganglia，为你安装，配置，启动，不用用户自己做任何设置工作，十分方便。然而“方便”的代价就是牺牲灵活行。在大多数情况下，EMR为咱们自动配置的ganglia环境已经足够

今天启动hbase shell的时候遇到错误，NoMethodError。上网查了半天，找到这个网页，解决了：http://comments.gmane.org/gmane.comp.java.hadoop.hbase.user/34224简单的说，就是JRUBY_HOME这个环境变量导致HBase查找jruby的jar包时，去按照JRUBY_HOME指示的位置找了，而没有用自己的li

今天遇到了一个恶心的问题：在HBase里面drop一个表，再重建，结果出错说这个表已经存在。再删，出错说这个表不存在。在网上找，很多人说是因为.META.表里面残存了僵尸表的信息。但是在hbase shell中scan ".META."之后，没有发现任何问题。后来找到了这篇文章，解决了问题：http://arnon.me/2013/01/killing-hbase-zombie-tab

在Hadoop上运行MapReduce任务的标准做法是把代码打包到jar里面，上传到服务器，然后用命令行启动。如果你是从一个Java应用中想要启动一个MapReduce，那么这个方法真是又土又麻烦。其实YARN是可以通过Java程序向Hadoop集群提交MapReduce任务的。与普通的任务不同的是，远程提交的Job由于读不到服务器上的mapred-site.xml和yarn-site.xml

最近配置了Hadoop的新MapReduce框架：YARN。总体上是按照CDH的文档配置的：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/4.2.1/CDH4-Installation-Guide/cdh4ig_topic_11_4.html。但是实际应用中发现这个文档里好多东西都没说全，自己补充了一些。这里