cdh 离线安装

环境: 操作系统:CentOS 6.5 hadoop: cloudera hadoop 5.1.0 主机：192.168.1.100 master 内存4G 硬盘25G,            192.168.1.101 slave1  内存2G 硬盘25G 一、Linux 环境设置 以下操作是在master主机上进行 1.网卡设置 [Shell] 纯文本查看 复制代码 ? 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 vi /etc/sysconfig/network-scripts/ifcfg-eth0   DEVICE="eth0" BOOTPROTO="static" IPV6INIT="yes" NM_CONTROLLED="yes" ONBOOT="yes" TYPE="Ethernet" UUID="8278a898-a033-4992-bbd7-8272ac03d54a" IPADDR=192.168.1.100 PREFIX=24 GATEWAY=192.168.1.1 DNS1=202.106.195.68 DEFROUTE=yes IPV4_FAILURE_FATAL=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no NAME="System eth0" HWADDR=00:0C:29:60:82:46 DOMAIN=202.106.46.151 IPV6_PEERDNS=yes IPV6_PEERROUTES=yes LAST_CONNECT=1457875283 重启服务： [Bash shell] 纯文本查看 复制代码 ? 1 service network restart 常见问题:重启完后如果还ping不通网关，请检查虚拟机的网络适配器连接方式是否调成了桥接模式。 2设置网络环境 修改主机名: [Bash shell] 纯文本查看 复制代码 ? 1 2 3 4 vi /etc/sysconfig/network   NETWORKING=yes HOSTNAME=master 设置完hostname后当前shenll命令窗口并没有立即生效，我们可以在shell窗口中执行命令: [Bash shell] 纯文本查看 复制代码 ? 1 hostname master 然后重新打开一个新的shell 命令行窗口就会发现hostname已经生效 3关闭防火墙 修改文件： [Bash shell] 纯文本查看 复制代码 ? 1 vi /etc/sysconfig/selinux 修改如下内容： [Bash shell] 纯文本查看 复制代码 ? 1 SELINUX=disabled 修改完以后执行命令：chkconfig iptables off 关闭防火墙 再次检查防火墙服务状态： [Bash shell] 纯文本查看 复制代码 ? 1 2 [root@master ~]# chkconfig iptables --list iptables               0:off        1:off        2:off        3:off        4:off        5:off        6:off 4修改hosts [Bash shell] 纯文本查看 复制代码 ? 1 2 3 4 vi /etc/hosts 127.0.0.1   localhost 192.168.1.100 master 192.168.1.101 slave1 5 克隆节点slave1 关闭master节点后，克隆slave1节点 克隆完成后分别将内存调成1G 然后重复以上1，2步骤，分别修改slave1的IP和主机名 二、CM安装 1.CM5下载 1.下载CM5 软件包: http://archive.cloudera.com/cm5/ ... /5.1.0/RPMS/x86_64/ cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm jdk-6u31-linux-amd64.rpm http://archive.cloudera.com/cm5/installer/5.1.0/ cloudera-manager-installer.bin http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/ cloudera-manager.repo 以上包下载完以后拷贝到 root 用户默认路径下新建的soft文件夹中，然后chmod 755 *.rpm 授权所有rmp包   [Bash shell] 纯文本查看 复制代码 ? 1 cp cloudera-manager.repo /etc/yum.repos.d/ 修改cloudera-manager.repo 中的版本由5改成5.1.0 验证cm依赖包   [Bash shell] 纯文本查看 复制代码 ? 1 yum list | grep cloudera   如果显示对应的rpm包说明正常，可以做下一步的手工安装以上下载的所有rpm包. 2.手工安装 首先手工安装第一步下载的rpm包， 然后安装bin包 ./cloudera-manager-installer.bin，以下图形界面过程中，一直选Next 或者OK 即可。               登录界面：http://192.168.1.100:7180 出现以下界面说明cloudera CM安装已经成功，可以登录进去配置集群和安装其他服务了。   三、 CDH5 集群安装 1.下载离线安装包:http://archive.cloudera.com/cdh5/parcels/5.1.0/ CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha1 manifest.json 下载完后，CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha1 重新命名把最后面的1去掉 然后只保留里面的hashcode 后面的url去掉 2.在所有机器下新建目录 mkdir -p /opt/cloudera/parcel-repo 然后将以上离线包考进去 3.通过CM界面进行集群的安装            不勾选  用户名密码，这里我本机是：root/root    安装过程中可能会出现以上失败界面 解决办法： [Bash shell] 纯文本查看 复制代码 ? 1 mv /usr/bin/host /usr/bin/host.bak                     我在CM5安装过程中大包采用离线，小包用yum安装，所有不同环境安装过程中可能会提示缺少各种依赖包。 出现这种情况的时候，通过 yum install -y  xxx.rpm 把缺少的包安装上就可以

29.jpg (69.82 KB, 下载次数: 35)

30.jpg (200.46 KB, 下载次数: 43)

 

31.jpg (52.2 KB, 下载次数: 39)

 

32.jpg (29.29 KB, 下载次数: 32)