hadoop
文章平均质量分 80
黑洞搜魂
人的一生大概是离不开一些苦难的,奇迹也常常蕴藏在苦难中,真诚拥抱苦难的人,必定是创造奇迹的人
展开
-
Hadoop的安装---在真实的linux集群上安装
1.在每台linux节点上安装好jdk,最好把ant一并装了,装的目录最好一致,然后统一配好java所需要的环境变量,例如:a) $export JAVA_HOME=/usr/java/jdk1.6.0_16 b) $export ANT_HOME=/usr/ant/ant-1.7.0c) $export JRE_HOME=/usr/原创 2011-10-30 22:44:07 · 731 阅读 · 2 评论 -
Hadoop源代码修改编译执行
针对的是hadoop 0.20.2版本,windows 平台。Linux可以参照着来弄(之前必须安装有jdk,ant,cygwin,并且配置好环境变量,使得cmd命令行下可以执行相应的命令) 1.首先到官网上把该版本的tar包下载下来,并解压到$HADOOP_HOME目录下2.进入到$HADOOP_HOME/src目录中,修改saveVersion.sh文件,因为原saveVers原创 2011-11-01 09:47:16 · 2484 阅读 · 0 评论 -
Hadoop性能分析工具Hitune的安装(centos)
简介:Hitune是建立在chukwa之上的对于hadoop的分析软件,不过hitune的呈现方式是通过excel来展示的,感觉上他对于hadoop的分析更为透彻和具体,下面给几个它分析得到的图片: 安装流程:1.装备好hadoop,确保hadoop是正确的我使用了三个节点,ip分别是10.10.104.115,10.10.104.116,10.10.104.116原创 2011-12-16 21:47:38 · 3825 阅读 · 9 评论 -
配置集群用户以及配置集群节点间无密码ssh登陆
1.安装软件 sshpass,官网为http://sourceforge.net/projects/sshpass/files/sshpass/1.05/sshpass-1.05.tar.gz/download,只需选择集群中的一台节点安装就好,后面的工作主要在这台节点上完成 2.下面是我配置集群用户和无密码ssh登陆的一个实例脚本,脚本中配置的是节点gd111-gd118,gd121-g原创 2011-12-19 20:28:39 · 1403 阅读 · 0 评论 -
Chukwa 0.4.0 详细安装流程
1.安装好hadoop,确保hadoop运行无误(我hadoop版本为0.20.2) 2.去官网上下载chukwa 0.4.0版本:http://www.apache.org/dyn/closer.cgi/hadoop/chukwa/chukwa-0.4.0 3.下载后别急着分发到各个节点,因为代码中存在着一个bug,这个bug会影响后面hicc的显示,所以需要经过修改编译以后原创 2011-12-13 21:18:28 · 2819 阅读 · 5 评论