hadoop
jameshaper
这个作者很懒,什么都没留下…
展开
-
HBase适用&不使用情形
HBase不能完全替代HDFS或者关系型数据库管理系统HBase并没有针对传统的应用或者关系型分析做优化。同时也不适用于替代HDFS来进行大型的MapReduce操作。适用:如果你的应用的模式很多变并且每一行都有些许不同,那么你应该选择HBase。例如使用传统关系型数据库时你不能快速的添加新列,同时多数情况下这些列都是空的。并且,如果你的数据是一些混合型数据原创 2012-11-10 11:32:34 · 984 阅读 · 0 评论 -
Hadoop, HBase, Zookeepr insanity
1.使用Eclipse 导出(Export)的时候,这样选择来避免兼容性错误Hadoop, HBase, 独立Zookeeper有自己的一套库,需要在Eclipse生成的Dependence文件夹中删除后两个多余的库,否则部署到集群上时会出错。类似的重复库最好也删掉。。。兼容的问题:可以工作的版本:hbase-0.94.2zookeeper-3.4.2原创 2012-11-16 22:35:54 · 564 阅读 · 0 评论 -
Windows下Zookeeper的各种问题
在Windows下使用cygwin是不能直接执行zookeeper的sh系列脚本的./zkCli.sh: line 39: D:\Program: command not found解决方法:首先使用bin下的zKServer.sh创建好各种zookeeper需要的目录(注意执行这个脚本是不会启动zookeeper的服务的,虽然显示Zookeeper Started, which原创 2012-11-16 22:47:42 · 1983 阅读 · 0 评论 -
Hadoop的新API(解决deprecated)
hadoop-0.20.2使用了一套新的API,网上的示例一般是使用MapReduceBase的,例如官方的tutorialhttp://hadoop.apache.org/docs/r0.20.2/mapred_tutorial.html新的API下应该使用这样的类static class Mapper extends Mapper { public void map(Lo原创 2012-11-16 22:59:46 · 1402 阅读 · 0 评论