集群管理
文章平均质量分 78
infovisthinker
这个作者很懒,什么都没留下…
展开
-
hadoop集群的搭建脚本及构思(二):程序文件的管理思路
安装了几次hadoop系统后终于开始有了一点感觉,对程序文件的管理有了一点想法,这里先记着。等搞完了再仔细地总结一下。 网络上的基本教程都是从0开始,建用户,建目录,拷贝压缩包,然后再解压,再修改配置文件,再修改系统配置文件;然后从一个机器(基本是master node)同步到其他的nodes上去,再统一启动。整个过程中,其实除了很少的一些配置不一样(比如zookeeper里面的id文件原创 2015-07-08 17:17:57 · 1130 阅读 · 0 评论 -
hadoop集群的搭建脚本及构思(N):一个简化的Hadoop+Spark on Yarn集群快速搭建
为了一篇正在准备的用spark做文本分析的博文,快速搭建了一个4节点的Spark on Yarn+Hadoop的集群。算是给这个系列的一点简单小结。因为资源的限制,HA的hadoop的集群搭建还要在等一段时间才能来继续了。 由于工作内容变动,有一段时间没有搞环境搭建,这次居然手生了很多,所这里也快速的记录一下自己的步骤来当做文档。 -- 机器配置 4台虚机,一个master,3个slav原创 2015-12-22 21:07:54 · 1546 阅读 · 0 评论