CDH5集群搭建全部过程（上）

为了企业测试服务器搭建，这俩天搭建了一套CDH集群，中间也遇到过小坑，在这里完整阐述一下。

下载的CDH安装包         链接：https://pan.baidu.com/s/1QKBIuaFtobhHeWys8HOQrg 提取码：p1n9 

操作系统：CentOS 6

JDK 版本：1.7或某些1.8 版本

所需安装包及版本说明： CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel

                                         CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

                                         manifest.json

                                         cloudera-manager-el6-cm5.4.3_x86_64.tar.gz

Cloudera Manager 下载目录 http://www.cloudera.com/downloads/manager/5-4-3.html

CDH 下载目录        http://archive.cloudera.com/cdh5/parcels/5.4.0/

CHD5 相关的 Parcel 包放到主节点的/opt/cloudera/parcel-repo/目录中

CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1 重命名为 CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha，这点必须注 意，否则，系统

会重新下载 CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel 文件

接下来就是整体的安装步骤了！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

一、系统环境搭建            

   1、网络配置(所有节点)

vi /etc/sysconfig/network 修改 hostname   通过 service network restart 重启网络服务生效

         vi /etc/hosts ,修改 ip 与主机名的对应关系

   2、SSH 免密码登录(所有节点)

       主节点执行： ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

       生成无密码密钥对 拷贝公钥到其他节点，执行 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

       测试：主节点 ssh 其他节点……

  3、关闭防火墙

临时关闭： service iptables stop

        重启后生效： chkconfig iptables off

  4、关闭 SELINUX

      临时关闭： setenforce 0 修改配置文件/etc/selinux/config（重启生效）：

      将 SELINUX=enforcing 改为 SELINUX=disabled

      查看 SELINUX 状态： 1、/usr/sbin/sestatus –v

      SELinux status: enabled（enabled：开启；disabled：关闭）

  5、安装 JDK   

这里就不详细记录了，去官网下载JDK的安装包，解压之后配置环境变量即可。

       查看java版本： java -version

  6、设置 NTP     

yum install ntp    网上有许多时间服务器。 这里主要是保持节点与节点之间的时间同步。

  7、安装配置 MySql   

这里安装mysql5.6  详细略

 

二、Cloudera Manager Server&Agent 安装

1、安装 Cloudera Manager Server&Agent

拷贝 cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 到所有 Server、Agent 节点

创建 cm 目录： mkdir /opt/cloudera-manager

解压 cm 压缩包： tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、创建用户 cloudera-scm（所有节点）

 执行： useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-scm-server -- no-create-home --shell=/bin/false

             --comment "Cloudera SCM User" cloudera-scm

3、配置 CM Agent

修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中 server_host 

  注： server_host  指的是cm主节点的ip 或者 IP别名

4、配置 CM Server 的数据库

将驱动包拷贝到目录下（注意拷贝过去的驱动包名字一定要和下边的一样，否则会报错）：

cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysqlconnector-java.jar

执行： mysql> grant all on *.* to 'username'@'%' identified by 'password' with grant option;

   cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema 执行

    ./scm_prepare_database.sh mysql -h xxxx(数据库服务器) -uxxxx（user） -pxxxxx（pwd） --scm-host xxxxxxxx(CMServer 所在节点) scm scm scm

例如：

./scm_prepare_database.sh mysql -h node1 -utemp -ptemp --scm-host node1 scm scm scm

      （对应于：数据库类型、数据库服务器、用户名、密码、CMServer 所在节点…….）

      若上步失败或过程中操作中断，删除所有库、重头来

           若安装 Oozie 等组件可能需要手动创建对应组件所需的数据库，

           例如： create database ooziecm DEFAULT CHARACTER SET utf8;

           grant all on ooziecm.* TO 'ooziecm'@'%' IDENTIFIED BY 'ooziecm';

5、创建 Parcel 目录

Manager 节点创建目录/opt/cloudera/parcel-repo，

执行： mkdir -p /opt/cloudera/parcel-repo

 将下载好的文件（CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel、CDH-5.4.0-1.cdh5.4.0.p0.27- el6.parcel.sha、manifest.json）拷贝到该目录下。

6、启动 CM Manager&Agent 服务

执行：

Manager：/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server start

Agents：/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start

访问：http://yourlocalhost:7180，若可以访问（用户名、密码：admin），则安装成功。

Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间

到这呢！CDH就算是完成一大半了 ，下半部分说明一下安装 hadoop和 点出HA。