CDH5.3.2安装详细文档以及相关问题处理

版本约定

操作系统版本centos6.5,64位
jdk1.7的版本也支持jdk1.8的版本

python版本为2.6或者2.7

集群版本cdh5.3.2
cloudera manager 5.3

mysql5.0以上版本

 

CM安装前说明

• 防火墙关闭

         service iptables stop chkconfig iptables off

•  关闭SELINUX

vi /etc/selinux/config设置SELINUX=disabled

•  确认端口7180没有被占用

• 在安装coudera manager 前先安装数据库mysql.并配置数据库的配置文件和创建相应的数据库。
• 需要将mysql数据库默认存储引擎改为innodb.

CM安装方式

安装方式采用yum安装，由于内网机器无法访问外网，所以我们必须搭建一个本地的yum仓库,yum仓库机器10.100.3.17。

本地YUM仓库搭建

yum安装所需rpm安装包包括cloudera manager 5 相关安装包，下载地址：http://archive-primary.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.2/RPMS/x86_64/ ，

CDH5.3.2相关安装包，下载地址：http://archive-primary.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.3.2/RPMS/x86_64/，http://archive-primary.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.3.2/RPMS/noarch/

上传相关安装包到10.100.3.17机器/var/ftp/pub/Packages目录下，然后执行createrepo命令：

createrepo -g /var/ftp/pub/repodata/repomd.xml /var/ftp/pub/

cdh集群机器配置本地yum源：

cd /etc/yum.repos.d/ rm -rf * #删除无用配置yum源文件 vi ftp-server.repo #加入ftp-server.repo文件加入如下配置： [base] name=ftp-server baseurl=ftp: //10.100.3.17/pub/ gpgcheck= 0

Clouera Manager安装

cdh集群说明

cdh集群机器为3台，分别为10.100.3.95,10.100.3.96,10.100.3.97,10.100.3.98,10.100.3.99

将cloudera manager agent 分别部署在这五台机器上，

将cloudera manager server 和mysql部署在10.100.3.95上

安装jdk

首先检查集群机器是否安装过openJDK,如果有安装过，请卸载，执行命令 ：

rpm -qa | grep jdk rpm -e xxx #xxx为上一步输出的rpm包名

 

在所有机器上安装jdk，并配置JAVA_HOME,执行命令：

yum install jdk vi /etc/profile #加入以下配置 export JAVA_HOME=/usr/java/jdk1. 7.0 . 67 export PATH=$JAVA_HOME/bin:$JAVA_HOME/lib:$PATH #使配置生效 source /etc/profile

配置NTP服务

我们需要配置集群ntp时间同步，因为集群安装完毕后Cloudera Manager会对集群做时间同步检测，如果不同步会报警

Bad Health --Clock Offset

The host's NTP service did not respond to a request for the clock offset.

我们采用10.100.3.95作为master机器，所有机器都同步该机器上的时间，所有机器安装ntp服务

yum install ntp

配置95机器上NTP Server，修改/etc/ntpd.conf文件加入如下配置

restrict  0.0 . 0.0 master  0.0 . 0.0 nomodify nostrap #让所有网段都可以同步该机器的时间