hadoop
文章平均质量分 79
磨刀人
磨刀的历程,也就是磨练自己心智的路程。。。。
展开
-
hadoop-2.5.2+Oozie-4.1.0环境构筑和简单测试
背景 对于Oozie的理解,我现在也是停留在它是一个job调度系统。至于在有Oozie的情况下,相比之下hadoop的性能是否会有很大的提升,官网中没有给出数据对比,无法直观的看到差异。但相比较没有oozie的hadoop,oozie可以指定workflow,这样在指定的时间段内,根据时间可以触发job,对于经常重复需要运行的作业,还是有很大的方便性。 以下是oozie官网给出的定义:原创 2016-05-12 10:40:29 · 1391 阅读 · 0 评论 -
Hive-1.2.1使用问题集
背景 Hive是Hadoop生态区中为数不多支持SQL的一个SQLengine,但支持的程度不是100%,比如,建模时要用到的limit offset,查看了Hive的手册,里面是不支持的。 问题 1.在使用Hive的期间,遇到最多的,也是之前一直没有解决的,耗时最长的,就是beeline链接的问题了。 现象 ./bin/beeline -u jdbc:hive2://162.原创 2016-06-07 15:42:45 · 10191 阅读 · 0 评论 -
bigdata——HBase+zookeeper+Hadoop集群构筑 之 Hadoop YARN集群构筑
最近项目调查闲下来了,有时间让大脑来整体之前做过的调查,为了便于基于存档,遂将其记录下来,希望对后来者有所帮助。 背景 为了了解Hbase集群下数据的查询以及安全性方面的性能数据,需要搭建HBase集群,简单测试。 角色分类 +--------------+-------------+---------------------+-----------------+ |原创 2016-04-01 14:26:27 · 598 阅读 · 0 评论