CDH5 新手详细安装教程

环境:

操作系统:CentOS 6.5
hadoop: cloudera hadoop 5.1.0
主机:192.168.1.100 master 内存4G 硬盘25G, 
          192.168.1.101 slave1  内存2G 硬盘25G

一、Linux 环境设置
以下操作是在master主机上进行
1.网卡设置
[Shell]  纯文本查看  复制代码
?
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
vi /etc/sysconfig/network-scripts/ifcfg-eth0
 
DEVICE= "eth0"
BOOTPROTO= "static"
IPV6INIT= "yes"
NM_CONTROLLED= "yes"
ONBOOT= "yes"
TYPE= "Ethernet"
UUID= "8278a898-a033-4992-bbd7-8272ac03d54a"
IPADDR=192.168.1.100
PREFIX=24
GATEWAY=192.168.1.1
DNS1=202.106.195.68
DEFROUTE= yes
IPV4_FAILURE_FATAL= yes
IPV6_AUTOCONF= yes
IPV6_DEFROUTE= yes
IPV6_FAILURE_FATAL=no
NAME= "System eth0"
HWADDR=00:0C:29:60:82:46
DOMAIN=202.106.46.151
IPV6_PEERDNS= yes
IPV6_PEERROUTES= yes
LAST_CONNECT=1457875283

重启服务:
[Bash shell]  纯文本查看  复制代码
?
1
service network restart

常见问题:重启完后如果还ping不通网关,请检查虚拟机的网络适配器连接方式是否调成了桥接模式。

2设置网络环境
修改主机名:
[Bash shell]  纯文本查看  复制代码
?
1
2
3
4
vi /etc/sysconfig/network
 
NETWORKING= yes
HOSTNAME=master


设置完hostname后当前shenll命令窗口并没有立即生效,我们可以在shell窗口中执行命令:
[Bash shell]  纯文本查看  复制代码
?
1
hostname master

然后重新打开一个新的shell 命令行窗口就会发现hostname已经生效
3关闭防火墙
修改文件:
[Bash shell]  纯文本查看  复制代码
?
1
vi /etc/sysconfig/selinux

修改如下内容:
[Bash shell]  纯文本查看  复制代码
?
1
SELINUX=disabled


修改完以后执行命令:chkconfig iptables off 关闭防火墙
再次检查防火墙服务状态:
[Bash shell]  纯文本查看  复制代码
?
1
2
[root@master ~] # chkconfig iptables --list
iptables               0:off        1:off        2:off        3:off        4:off        5:off        6:off


4修改hosts
[Bash shell]  纯文本查看  复制代码
?
1
2
3
4
vi /etc/hosts
127.0.0.1   localhost
192.168.1.100 master
192.168.1.101 slave1


5 克隆节点slave1
关闭master节点后,克隆slave1节点

克隆完成后分别将内存调成1G
然后重复以上1,2步骤,分别修改slave1的IP和主机名


二、CM安装
1.CM5下载
1.下载CM5 软件包:
http://archive.cloudera.com/cm5/ ... /5.1.0/RPMS/x86_64/

cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm
oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm
jdk-6u31-linux-amd64.rpm

http://archive.cloudera.com/cm5/installer/5.1.0/
cloudera-manager-installer.bin

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/
cloudera-manager.repo

以上包下载完以后拷贝到
root 用户默认路径下新建的soft文件夹中,然后chmod 755 *.rpm 授权所有rmp包

[Bash shell]  纯文本查看  复制代码
?
1
cp cloudera-manager.repo /etc/yum .repos.d/

修改cloudera-manager.repo 中的版本由5改成5.1.0

验证cm依赖包  
[Bash shell]  纯文本查看  复制代码
?
1
yum list | grep cloudera

 
如果显示对应的rpm包说明正常,可以做下一步的手工安装以上下载的所有rpm包.

2.手工安装
首先手工安装第一步下载的rpm包, 然后安装bin包
./cloudera-manager-installer.bin,以下图形界面过程中,一直选Next 或者OK 即可。
 
 
 
 
 
 
 


登录界面:http://192.168.1.100:7180 出现以下界面说明cloudera CM安装已经成功,可以登录进去配置集群和安装其他服务了。

 


三、 CDH5 集群安装
1.下载离线安装包:http://archive.cloudera.com/cdh5/parcels/5.1.0/
CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel
CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha1
manifest.json

下载完后,CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha1 重新命名把最后面的1去掉
然后只保留里面的hashcode 后面的url去掉

2.在所有机器下新建目录
mkdir -p /opt/cloudera/parcel-repo
然后将以上离线包考进去

3.通过CM界面进行集群的安装

 
 
 
 
 
 不勾选
 用户名密码,这里我本机是:root/root
 
 安装过程中可能会出现以上失败界面
解决办法:
[Bash shell]  纯文本查看  复制代码
?
1
mv /usr/bin/host /usr/bin/host .bak


 
 
 
 
 


 

 
 
 
 
我在CM5安装过程中大包采用离线,小包用yum安装,所有不同环境安装过程中可能会提示缺少各种依赖包。
出现这种情况的时候,通过 yum install -y  xxx.rpm 把缺少的包安装上就可以





29.jpg (69.82 KB, 下载次数: 0)

29.jpg

30.jpg (200.46 KB, 下载次数: 0)

30.jpg

31.jpg (52.2 KB, 下载次数: 0)

31.jpg

32.jpg (29.29 KB, 下载次数: 0)

32.jpg
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值