CDH5.7系统集群部署

一、安装介质准备
由于在线安装CDH是使用的国外的源，因此安装过程很慢很慢，这里采用离线安装的方式，需要下载CDH离线安装包和相关组件
操作系统：CentOS7
JDK环境：jdk-8u131-linux-x64.rpm
Mysql：Mysql官网下载mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar
CDH相关软件包：
cloudera manager包：5.7.2 cloudera-manager-centos7-cm.5.7.2_x86_64.tar.gz
下载地址：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz
CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel
CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel.sha1
manifest.json
以上三个下载地址在http://archive.cloudera.com/cdh5/parcels/5.7.2/，注意centos要下载el7的。

二、操作系统准备
准备三台虚拟机，操作系统最好保持一致
192.168.1.169 node01 主节点master，datanode
192.168.1.168 node02 datanode
192.168.1.167 node03 datanode

禁用selinux和iptables
配置主机名和/etc/hosts，类似如下：
192.168.1.168 node02
192.168.1.169 node01
192.168.1.167 node03

三、开始安装
1、安装JDK（每台机器都要）
查看当前java版本，如果没有则直接安装，有则要先卸载
java -version
yum -y remove rpm -qa | grep jdk
rpm -ivh jdk-8u131-linux-x64.rpm
安装Hue连接Hive时的安装依赖包
yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi

2、配置NTP服务
yum -y install ntp
更改master的节点
vi /etc/ntp.conf
注释掉所有server ..*的指向，新添加一条可连接的ntp服务器
server xxx.xxx.xxx.xxx iburst
重启ntp服务
systemctl restart ntpd

3、ssh无密码登陆配置
在所有节点上生成公钥
ssh-keygen -t rsa
一直回车
在node01上：
ssh-copy-id 192.168.1.168
ssh-copy-id 192.168.1.167
在node02上:
ssh-copy-id 192.168.1.169
ssh-copy-id 192.168.1.167
在node03上：
ssh-copy-id 192.168.1.169
ssh-copy-id 192.168.1.168

4、安装Mysql
CentOS7自带的是mariadb，需要先卸载掉
rpm -e --nodeps rpm -qa | grep mariadb
tar -xvf MySQL-5.6.24-1.linux_glibc2.5.x86_64.rpm-bundle.tar
rpm -ivh mysql-community-client-5.7.21-1.el7.x86_64.rpm
mysql-community-common-5.7.21-1.el7.x86_64.rpm
mysql-community-devel-5.7.21-1.el7.x86_64.rpm
mysql-community-libs-5.7.21-1.el7.x86_64.rpm
mysql-community-libs-compat-5.7.21-1.el7.x86_64.rpm
mysql-community-server-5.7.21-1.el7.x86_64.rpm
修改mysql配置文件my.cnf
增加如下配置：
[mysqld]
default-storage-engine = innodb
innodb_file_per_table
collation-server = utf8_general_ci
init-connect = ‘SET NAMES utf8’
character-set-server = utf8

yum -y install perl-Module-Install
初始化mysql
/usr/bin/mysql_install_db
systemctl start mysqld
查看mysql启动日志，password一行有初始密码

登陆mysql修改初始密码
mysql -uroot -p
修改初始密码为123456
SET PASSWORD=PASSWORD(‘123456’);
允许以root用户远程登录mysql
update user set host=’%’ where user=‘root’ and host=‘localhost’;
flush privileges;
yum -y install mysql-connector-java-5.1.25
cp /usr/share/java/mysql-connector-java.jar /opt/cloudera-manager/cm-5.7.2/share/cmf/lib/mysql-connector-java.jar

5、创建数据库
create database scmdb DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
grant all on . to root@"%" Identified by “123456”;

四、安装cloudera-manager
解压cm tar包到指定目录所有服务器都要(或者在主节点解压好，然后通过scp到各个节点同一目录下
mkdir /opt/cloudera-manager
tar -axvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager

创建cloudera-scm用户（所有节点）
useradd --system --home=/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm

在主节点创建cloudera-manager-server的本地元数据保存目录
mkdir /var/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/cloudera-scm-server
chown cloudera-scm:cloudera-scm /opt/cloudera-manager

配置从节点cloudera-manger-agent指向主节点服务器
vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini

主节点中创建parcel-repo仓库目录
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
解释：Clouder-Manager将CDHs从主节点的/opt/cloudera/parcel-repo目录中抽取出来，分发解压激活到各个节点的/opt/cloudera/parcels目录中

初始脚本配置数据库scm_prepare_database.sh(在主节点上)
/opt/cloudera-manager/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql -hcdh1 -uroot -p123456 --scm-host cdh1 scmdbn scmdbu scmdbp
说明：这个脚本就是用来创建和配置CMS需要的数据库的脚本。各参数是指：
mysql：数据库用的是mysql，如果安装过程中用的oracle，那么该参数就应该改为oracle。
-cdh1：数据库建立在cdh1主机上面,也就是主节点上面。
-uroot：root身份运行mysql。-123456：mysql的root密码是***。
–scm-host cdh1：CMS的主机，一般是和mysql安装的主机是在同一个主机上,最后三个参数是：数据库名，数据库用户名，数据库密码。

启动主节点
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server start

启动Agent
/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-agent start

五、在浏览器访问CDH并安装
http://ipaddress:7180 admin/admin

安装过程需要注意下有2项检查没有通过，只要执行下以下2条命令再重新检查下就可以通过了。
echo 0 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag

注意：这里的parcel下载很慢，需要手动下载放到parcel-repo目录下即可
将前面下载的CDH parcels文件放到 /opt/cloudera/parcel-repo 文件夹下
生成相应的sha文件，即：
在下载的 manifest.json 文件里依照版本号“CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel”找到相应的 hash值
hash值保存在sha文件里
echo ‘hash值’>CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha
记得将CDH-5.1.0-1.cdh5.1.0p0.53-el6.parcel.sha1修改为CDH-5.1.0-1.cdh5.1.0p0.53-el6.parcel.sha，不然的话会重新下载parcel包
安装完成后就可以进行配置和使用了，后面的比较简单就不写了。