Hadoop
文章平均质量分 78
青竹居士
热爱学习,热爱交流,热爱生活!
展开
-
使用pdsh、ClusterSSH和mussh管理集群系统
当我们管理数以十计或者更多的集群系统时,往往需要在每台机器上执行同样的命令,或者拷贝同样的文件,这时,我们就可以考虑使用三个小工具,分别是pdsh、ClusterSSH和mussh。 在Fedora系统上,我们可以直接通过yum安装这三个软件。 yum install clusterssh pdsh pdsh-rcmd-ssh pdsh-rcmd-rsh mussh 如果是其他Lin转载 2014-06-29 13:20:58 · 882 阅读 · 0 评论 -
pdsh集群操作
模版: ./pdsh -R ssh -w node-10-0[0-5] 后面紧跟命令即可原创 2014-06-29 13:34:16 · 810 阅读 · 0 评论 -
Ganglia 和 Nagios,第 1 部分: 用 Ganglia 监视企业集群
原文链接转载 2014-06-30 10:26:14 · 514 阅读 · 0 评论 -
使用Ambari快速部署Hadoop大数据环境
原文链接 作者:杨鑫奇 前言 做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Ambari,这个新的Apache的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的组件的环境,并提供维护和监控的功能. 作为新手,我讲讲我自己的学习经历,刚刚开始学习的时候,当然最简单的 Google 下Hadoop ,然转载 2014-06-30 15:03:32 · 1032 阅读 · 1 评论 -
【translated】Ambari,hadoop的配置,管理和监控项目入门
Ambari is 100% open source and included in HDP, greatly simplifying installation and initial configuration of Hadoop clusters. In this article we’ll be running through some installation steps to get s转载 2014-06-30 14:37:51 · 3811 阅读 · 0 评论 -
PageRank的MapReduce实现
如何用 Hadoop 的 MapReduce 思想来计算 PageRank 呢?其实理解起来还是很简单的。PageRank的计算公式如下: Rv=alpha * Sigma(Rn/Nn)+ (1-apha)/N Mapper 的输入格式为: (节点,PageRank 值)->(该节点的外部链接节点列表) Mapper 的输出格式为: (节点) -> (该节点的反向链接节点,反转载 2014-06-12 10:40:53 · 4399 阅读 · 0 评论 -
Hadoop2.4.1部署(完整版)
原文地址 引言 转眼间,Hadoop的stable版本已经升级到2.4.1了,社区的力量真是强大!3.0啥时候release呢? 今天做了个调研,尝鲜了一下2.4.1版本的分布式部署,包括NN HA(目前已经部署好了2.2.0的NN HA,ZK和ZKFC用现成的),顺便也结合官方文档 http://hadoop.apache.org/docs/r2.4.1/hadoo转载 2014-07-12 02:15:06 · 11075 阅读 · 2 评论