mapreduce
文章平均质量分 83
infovisthinker
这个作者很懒,什么都没留下…
展开
-
Hadoop 2.6 日志文件和MapReduce的log文件研究心得
学习演练Hadoop 2.6有一段日子了。现在才大致搞清楚了系统里面各个log的位置和功能,在这里总结一下。网上的资料并不丰富,甚至Google出来的结果也不是很满意,或许这个是太简单了,牛人都不屑来写。也可能是各个公司藏着掖着的东西。Hadoop 2.6包含两个大部分:DFS和Yarn,而Yarn里面又包含在Resource Manager的JVM中运行的部分和在Node Manag原创 2015-04-29 18:30:20 · 13990 阅读 · 3 评论 -
hadoop集群的搭建脚本及构思(一):用户和用户权限
打算搞一个复杂的Hadoop 2.6集群,加上Zookeeper来搞HA,再部署上HBase,Hive等一系列的东西。发现机器多了,从建虚机到配置都不能再靠命令行一条一条的敲,需要搞脚本出来自动/半自动执行。其实想想,这个部署的过程就是一个类似PaaS的任务。完全可以搞成可视化的部署工具。当年搞十八摸的中间件的部署就是有这样的工具。可以自己先定义所需要的系统拓扑,比如一个WAS ND的集群,要原创 2015-06-16 12:03:38 · 2697 阅读 · 0 评论