Clouder CDH Hadoop安装

感觉CDH版本安装确实方便,但是一直没找到如何自定义安装目录,不太习惯这种方式。


转下一个别人的帖子。


1、先保证你的yum源是最新可用的,这样可以省好多事,例如pax, patch, python-setuptools都会被CDH3组件依赖。

2、安装jdk, jre。 但对非RPM版本的不认,在安装CDH3的时候会提示缺少sun-java6。安装rpm包后可继续,但我想会有解决办法,如果哪位有答案请留言,万分感谢!

3、添加cloudera的yum源,当然你是专业的系统工程师且很有闲的话,也可以自己下在管理RPM包。如果不是,咱们赶时间吧!

sudo vim /etc/yum.repos.d/cloudera-cdh3b4.repo

添加以下

name=Cloudera's Distribution for Hadoop, Version 3b4
mirrorlist=http://archive.cloudera.com/redhat/cdh/3b4/
baseurl=http://archive.cloudera.com/redhat/cdh/3b4/
gpgkey = http://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera 
gpgcheck = 0

4、安装cdh3b4

sudo yum search hadoop

可以看到hadoop相关的软件包,这里暂时不表,安装之

sudo yum install hadoop-0.20

你也可以根据需求有选择安装hadoop的组件,例如:hadoop-0.20-namenode、 hadoop-0.20-jobtracker

一路yes,安装完毕。( 注:但我估计很多哥们都会有一些依赖的rpm包找不到的情况。先检讨一下自己的人品,然后去找一个最新的yum源或者人肉下载那些rpm包。)

5、安装ssh, 实现无密码登录

sudo yum -y install openssh

sudo service sshd start

sudo chkconfig --level 35 sshd on

# 配置无密码登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

# 关闭防火墙

sudo service iptables stop

sudo chkconfig --level 35 iptables off 

# 然后登录验证

ssh localhost 

# 同理、将master的id_dsa.pub添入slave的authorized_keys

scp ~/.ssh/id_dsa.pub cdh@cdh3-slave1:/home/cdh

# 登录cdh3-slave1

cat ~/id_dsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

最后说明、安装完毕的只是cdh3的standalone模式,也就是单机模式(此外还有伪分布式模式,和分布式模式),单机下可以执行mapreduce任务,但没有启动hdfs的服务,切换模式需要使用CDH3的配置管理工具alternatives来进行conf切换,它最大的好处是轻松管理hadoop集群的配置。



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值