CDH平台搭建（离线版本）

参考了网上多个版本的CDH搭建平台，终于搭建了起来了，过程磕磕绊绊，此文以作总结。

参考：https://www.cnblogs.com/zhangleisanshi/p/7575579.html

一、环境准备：

• VM虚拟机（自行搜索）
• centos7 操作系统采用CentOS Minimal 7  ：http://124.205.69.134/files/4128000005F9FCB3/mirrors.zju.edu.cn/centos/7.4.1708/isos/x86_64/CentOS-7-x86_64-Minimal-1708.iso
• JDK环境      版本：jdk-8u101-linux-x64.rpm     下载地址：oracle官网mysql
  
• rpm包：http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar
• jdbc连接包mysql-connector-java-5.1.39-bin.jar: http://dev.mysql.com/downloads/connector/j/
• CDH安装相关的包
• cloudera manager包 ：5.7.2 cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz 
  下载地址：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz
• CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel
• CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel.sha1
• manifest.json
• 以上三个下载地址在http://archive.cloudera.com/cdh5/parcels/5.7.2/，注意centos要下载el7的
• 截图如下：

二、操作：

• 三台虚拟机创建，名字为cdh1 cdh2 cdh3截图如下：

• 网络设置

//centos7 静态ip设置，一共分为三步
//一、更改网卡设置
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
//修改：
ONBOOT=no 改为 ONBOOT=yes
[root@cdh1~]$ systemct1 restart network
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=dhcp 改为 BOOTPROTO=static
//增加：
IPADDR=192.168.152.134   #你想设置的IP地址（ip add找到本机IP）
NTSMASK=255.255.255.0
GATEWAY=192.168.152.2    #默认网关，虚拟网络编辑器查看
DNS1=192.168.152.2   #与网关一致
//二、重启网络服务
service network restart
//三、配置网络工具
[root@cdh1~]$ yum install net-tools

• 所有节点安装JDK

[root@cdh1~]$ java -version
[root@cdh1~]$ rpm -qa | grep jdk
java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
[root@cdh1~]# yum -y remove java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
[root@cdh1~]# yum -y remove java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
[root@cdh1~]# java -version
bash: /usr/bin/java: No such file or directory
[root@cdh1~]# rpm -ivh jdk-8u101-linux-x64.rpm 
[root@cdh1~]# java -version
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

• 所有节点配置hosts

[root@cdh1~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=cdh1
[root@cdh1~]# vi /etc/hosts
127.0.0.1 localhost.cdh1
192.168.42.128  cdh1
192.168.42.129  cdh2
192.168.42.130  cdh3

• 关闭selinux，注意，此操作完成后需要重启

[root@cdh1~]# vi /etc/sysconfig/selinux
SELINUX=disabled
[root@cdh1~]#sestatus -v
SELinux status: disabled
表示已经关闭了

• 关闭防火墙

[root@cdh1~]# systemctl stop firewalld
[root@cdh1~]# systemctl disable firewalld
rm '/etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service'
rm '/etc/systemd/system/basic.target.wants/firewalld.service'
[root@cdh1~]# systemctl status firewalld
firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled)
   Active: inactive (dead)

• NTP服务器配置(用于3个节点间实现时间同步)

[root@cdh1~]#yum -y install ntp
更改master的节点
[root@cdh1~]## vi /etc/ntp.conf
注释掉所有server *.*.*的指向，新添加一条可连接的ntp服务器(我选的本公司的ntp测试服务器)
server 172.30.0.19 iburst
在其他节点上把ntp指向master服务器地址即可(/etc/ntp.conf下)
server 192.168.42.128 iburst
[root@cdh1~]## systemctl start ntpd  //启动ntp服务
[root@cdh1~]## systemctl status ntpd //查看ntp服务状态

• SSH无密码登录配置，各个节点都需要设置免登录密码

[root@cdh1 /]# ssh-keygen -t rsa
[root@cdh1 /]# ssh-copy-id 192.168.152.134(此语句需要执行3*3=9次，在chd1上将集群三个ip执行，然后cdh2，cdh3也要执行)
执行完毕之后，在每一台机器上分别ssh三台机器，共需要ssh九次（cdh1需要ssh cdh1;ssh cdh2 ;ssh cdh3.cdh2 cdh3也要执行）

• 安装mysql centos7自带的是mariadb，需要先卸载掉

[root@cdh1 /]# rpm -qa | grep mariadb
mariadb-libs-5.5.41-2.el7_0.x86_64
[root@cdh1 /]# rpm -e --nodeps mariadb-libs-5.5.41-2.el7_0.x86_64
[root@cdh1 /]# tar -xvf  MySQL-5.6.24-1.linux_glibc2.5.x86_64.rpm-bundle.tar   //mysql rpm包拷贝到服务器上然后解压
[root@cdh1 /]# yum install -y perl-Module-Install.noarch
[root@cdh1 /]# rpm -ivh MySQL-*.rpm  //安装释出的全部rpm
[root@cdh1 /]# cp /usr/share/mysql/my-default.cnf /etc/my.cnf 
[root@cdh1 /]# vi /etc/my.cnf    //在配置文件中增加以下配置并保存
[mysqld]
default-storage-engine = innodb
innodb_file_per_table
collation-server = utf8_general_ci
init-connect = 'SET NAMES utf8'
character-set-server = utf8


[root@cdh1 /]# /usr/bin/mysql_install_db   //初始化mysql 
[root@cdh1 /]# service mysql restart       //启动mysql
 ERROR! MySQL server PID file could not be found!
Starting MySQL... SUCCESS! 
[root@cdh1 /]#  cat /root/.mysql_secret    //查看mysql root初始化密码
# The random password set for the root user at Fri Sep 22 11:13:25 2017 (local time): 9mp7uYFmgt6drdq3
[root@cdh1 /]#  mysql -u root -p          //登录进行去更改密码
mysql> SET PASSWORD=PASSWORD('123456');
mysql> update user set host='%' where user='root' and host='localhost';   //允许mysql远程访问
Query OK, 1 row affected (0.05 sec)
Rows matched: 1  Changed: 1  Warnings: 0
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

[root@cdh1 /]#  chkconfig mysql on   //配置开机启动

[root@cdh1 /]# tar -zcvf mysql-connector-java-5.1.44.tar.gz // 解压mysql-connector-java-5.1.44.tar.gz得到mysql-connector-java-5.1.44-bin.jar
[root@cdh1 /]# mkdir /usr/share/java // 在各节点创建java文件夹
[root@cdh1 /]# cp mysql-connector-java-5.1.44-bin.jar /usr/share/java/mysql-connector-java.jar //将mysql-connector-java-5.1.44-bin.jar拷贝到/usr/share/java路径下并重命名为mysql-connector-java.jar

• 创建数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
 create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
grant all on *.* to root@"%" Identified by "123456";

• 安装Cloudera-Manager

//解压cm tar包到指定目录所有服务器都要(或者在主节点解压好，然后通过scp到各个节点同一目录下)

[root@cdh1 ~]#mkdir /opt/cloudera-manager
[root@cdh1 ~]# tar -axvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager  

//创建cloudera-scm用户（所有节点）
[root@cdh1 ~]# useradd --system --home=/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm  

//在主节点创建cloudera-manager-server的本地元数据保存目录
[root@cdh1 ~]# mkdir /var/cloudera-scm-server
[root@cdh1 ~]# chown cloudera-scm:cloudera-scm /var/cloudera-scm-server
[root@cdh1 ~]# chown cloudera-scm:cloudera-scm /opt/cloudera-manager

//配置从节点cloudera-manger-agent指向主节点服务器
[root@cdh1 ~]# vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini
将server_host改为CMS所在的主机名即cdh1

//主节点中创建parcel-repo仓库目录
[root@cdh1 ~]# mkdir -p /opt/cloudera/parcel-repo
[root@cdh1 ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
[root@cdh1 ~]# cp CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha manifest.json /opt/cloudera/parcel-repo
注意：其中CDH-5.7.2-1.cdh5.7.2.p0.18-el5.parcel.sha1 后缀要把1去掉

//所有节点创建parcels目录
[root@cdh1 ~]# mkdir -p /opt/cloudera/parcels
[root@cdh1 ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
解释：Clouder-Manager将CDHs从主节点的/opt/cloudera/parcel-repo目录中抽取出来，分发解压激活到各个节点的/opt/cloudera/parcels目录中


//初始脚本配置数据库scm_prepare_database.sh(在主节点上)
[root@cdh1 ~]# /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql -hcdh1 -uroot -p123456 --scm-host cdh1 scmdbn scmdbu scmdbp
说明：这个脚本就是用来创建和配置CMS需要的数据库的脚本。各参数是指：
mysql：数据库用的是mysql，如果安装过程中用的oracle，那么该参数就应该改为oracle。
-cdh1：数据库建立在cdh1主机上面,也就是主节点上面。
-uroot：root身份运行mysql。-123456：mysql的root密码是***。
--scm-host cdh1：CMS的主机，一般是和mysql安装的主机是在同一个主机上,最后三个参数是：数据库名，数据库用户名，数据库密码。

如果报错：
ERROR com.cloudera.enterprise.dbutil.DbProvisioner  - Exception when creating/dropping database with user 'root' and jdbc url 'jdbc:mysql://localhost/?useUnicode=true&characterEncoding=UTF-8'
java.sql.SQLException: Access denied for user 'root'@'cdh1' (using password: YES)

则参考 http://forum.spring.io/forum/spring-projects/web/57254-java-sql-sqlexception-access-denied-for-user-root-localhost-using-password-yes

运行如下命令：

update user set PASSWORD=PASSWORD('123456') where user='root';

GRANT ALL PRIVILEGES ON *.* TO 'root'@'cdh1' IDENTIFIED BY '123456' WITH GRANT OPTION;

FLUSH PRIVILEGES;

//启动主节点
[root@cdh1 ~]# cp /opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
[root@cdh1 ~]# chkconfig cloudera-scm-server on
[root@cdh1 ~]# vi /etc/init.d/cloudera-scm-server
CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为=/opt/cloudera-manager/cm-5.7.2/etc/default
[root@cdh1 ~]# service cloudera-scm-server start
//同时为了保证在每次服务器重启的时候都能启动cloudera-scm-server，应该在开机启动脚本/etc/rc.local中加入命令：service cloudera-scm-server restart


//启动cloudera-scm-agent所有节点
[root@cdhX ~]# mkdir /opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-agent
[root@cdhX ~]# cp /opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
[root@cdhX ~]# chkconfig cloudera-scm-agent on
[root@cdhX ~]# vi /etc/init.d/cloudera-scm-agent
CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为=/opt/cloudera-manager/cm-5.7.2/etc/default
[root@cdhX ~]# service cloudera-scm-agent start
//同时为了保证在每次服务器重启的时候都能启动cloudera-scm-agent，应该在开机启动脚本/etc/rc.local中加入命令：service cloudera-scm-agent restart

• 等待主节点完成启动就在浏览器中进行操作了 进入192.168.42.128:7180 默认使用admin admin登录以下在浏览器中使用操作安装

此地有两个未检测通过，需要执行如下语句

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo 0 > /proc/sys/vm/swappiness
将上面语句加入开机启动中：
vi /etc/rc.local
写入

数据库设置选择 

数据库设置	数据库类型	数据库名称	用户名	密码
Hive	mysql	hive	root	123456
Oozie Server	mysql	oozie	root	123456

 安装完成后可在浏览器中进入192.168.42.128:7180地址，查看集群情况:

 主要做solr用，搭建的组建不错，警告多为性能原因，部分组件未成功。

安装中遇到的问题：

• mysql数据库启动失败：

mysql执行service mysql restart时，报错：Starting MySQL.The server quit without updating PID file ([失败]ysqllnmp.pid)

经查是/etc/my.cnf配置问题，此问题是mysql安装常见问题，另附删除mysql语句：

 1找到安装的程序：rpm -qa | grep MySQL
 2删除
 rpm -e --nodeps MySQL-test-5.6.26-1.linux_glibc2.5.x86_64
 rpm -e --nodeps MySQL-devel-5.6.26-1.linux_glibc2.5.x86_64
 rpm -e --nodeps MySQL-shared-compat-5.6.26-1.linux_glibc2.5.x86_64
 rpm -e --nodeps MySQL-client-5.6.26-1.linux_glibc2.5.x86_64
 rpm -e --nodeps MySQL-shared-5.6.26-1.linux_glibc2.5.x86_64
 rpm -e --nodeps MySQL-server-5.6.26-1.linux_glibc2.5.x86_64
 rpm -e --nodeps MySQL-embedded-5.6.26-1.linux_glibc2.5.x86_64
 3 找到目录 find / -name mysql
 4删除
rm -rf  /run/lock/subsys/mysql
rm -rf  /etc/selinux/targeted/active/modules/100/mysql
rm -rf  /var/lib/mysql
rm -rf  /var/lib/mysql/mysql
rm -rf  /usr/lib64/mysql

• 页面配置集群时，少主机

全部节点需要全部配置指向主节点：

//配置从节点cloudera-manger-agent指向主节点服务器
[root@cdh1 ~]# vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini
将server_host改为CMS所在的主机名即cdh1

• 组件启动失败

经常报错：CDH 仅完成 1/3 个步骤。

之前分开操作的，需要连续性配置。（我重新搭建的）