超级详细之-----CDH安装文档

CDH-5.14安装文档

1.  操作系统	CentOS Linux release 7.6.1810 
   

2.  JDK	jdk1.8.0_131
   

3.  Clouder Manager	CDH-5.14.3
   

4.  CDH	CDH-5.14.2
   

5.  数据库	Mysql 5.7
   

6.  JDBC	mysql-connector-java.jar
   

7.  节点数	3
   

应该算是超级详细的安装手册了，基本上包含了安装过程中遇到的问题，已经解决方式，本篇安装文档没有对CDH安装的组件进行参数的优化和配置，有需要参数调优的需要自行百度

目录
CDH-5.14安装文档 1
一、安装包准备 3

1. 从共享目录把CDH的安装包复制到挂载好的盘中，同时需要把 .sha1 结尾的文件改成 .sha 3
2. 准备oracle的JDK1.8 3
3. 下载mysql安装包 4
   二、环境准备 4
   1.配置hosts（所有节点都需要配置） 4
   2.关闭所有节点的防火墙 4
   3.配置免密登陆 4
   4.配置ntp服务（所有节点都需要） 5
   5.卸载掉自带的 open-jdk ，安装 oracle的java 6
   6.主节点安装Mysql 7
   （1）下载安装包 7
   （2）解压 7
   （3）安装rpm包 7
   （4）启动mysql 8
   三、安装CDH 10
   1.将CM解压到/opt 10
   2.将mysql jdbc包复制到 /opt/cm-5.14.3/share/cmf/lib 10
   3.初始化CM 10
   4.在所有节点创建用户 10
   5.修改主节点的cloudera-scm-agent配置 10
   6.将其他的三个包复制到/opt/cloudera/parcel-repo 目录下 11
   7.启动Server和Agent 11
   （1）节点启动Server 11
   （2）在所有节点启动agent 11
   8.通过浏览器访问CM 11
   9.安装CDH 12
   （1）登陆界面后接受协议 12
   （2）选择CM的版本 12
   （3）选择“当前管理的主机“选择项卡，点【继续】。 13
   （4）检查时出现如下情况需要进行处理 14

一、安装包准备

1. 从共享目录把CDH的安装包复制到挂载好的盘中，同时需要把 .sha1 结尾的文件改成 .sha

需要四个文件：
cloudera-manager-centos7-cm5.14.3_x86_64.tar.gz
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha
manifest.json
需要注意大版本要保持一致

需要其他版本的下载地址：
Cloudera Manager 下载地址：
https://archive.cloudera.com/cm5/cm/5/
CDH 下载地址：
http://archive.cloudera.com/cdh5/parcels/5.14/

2. 准备oracle的JDK1.8

共享目录中有，没用的需要到oracle官网下载
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

3. 下载mysql安装包

下载地址：https://dev.mysql.com/
安装mysql 最好一次成功，安装失败以后重新安装会有很多奇怪的问题，比较麻烦

二、环境准备

1.配置hosts（所有节点都需要配置）

vi /etc/hosts

2.关闭所有节点的防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service（禁止防火墙开机自启）

3.配置免密登陆

ssh-keygen -t rsa (一路回车就好)
ssh-copy-id ip
ssh 172.20.238.102 (可以无密码登陆说明设置成功)
设置 主节点到从节点的免密

4.配置ntp服务（所有节点都需要）

（1） rpm -qa | grep ntp （查看是否安装ntp服务）如下图时，未安装需要安装

（2）yum –y install ntp

（3）修改ntp.conf 文件，所有节点都需要修改
主节点配置方式
vi /etc/ntp.conf

从节点的配置方式
vi /etc/ntp.conf

（4）启动 ntp服务 systemctl start ntpd

5.卸载掉自带的 open-jdk ，安装 oracle的java

（1） rpm -qa | grep java （本次安装没用自带的openjdk）

（2）如果有自带的jdk 使用 rpm -e –nodeps +包名 强制卸载掉
（3）安装1.8的jdk
把tar包解压 tar xvf jdk-8u131-linux-x64.tar.gz

（4）修改/etc/profile （配置环境变量）
export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile
java -version 检查是否配置成功

6.主节点安装Mysql

注意： 需要检查是否有mariadb（如果有需要卸载）
rpm -qa | grep -i mariadb
rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64 （卸载命令）

（1）下载安装包
https://cdn.mysql.com//archives/mysql-5.7/mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar
（2）解压
tar -xvf mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar

（3）安装rpm包
安装顺序如下
rpm -ivh mysql-community-common-5.7.18-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.18-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.18-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.18-1.el7.x86_64.rpm
rpm -ivh mysql-community-devel-5.7.18-1.el7.x86_64.rpm

注意安装rpm -ivh mysql-community-server-5.7.18-1.el7.x86_64.rpm 可能会遇到依赖net-tools，两种解决方式，一种是下载net yum install net-tools，另一种是 强制安装
rpm -ivh mysql-community-server-5.7.18-1.el7.x86_64.rpm --force --nodeps

//安装下面包，否则Hue安装报连接错误
rpm -ivh mysql-community-libs-compat-5.7.18-1.el7.x86_64.rpm
（4）启动mysql
①systemctl start mysqld
②systemctl status mysqld

③修改 vi /etc/my.cnf 免密登陆mysql 在[mysqld]下加入一行：
skip-grant-tables

④重启mysql
service mysqld restart

⑤输入mysql 直接登陆

⑥mysql客户端执行以下命令，修改root密码

mysql> use mysql;
mysql> UPDATE user SET authentication_string = password(‘your-password’) WHERE host = ‘localhost’ AND user = ‘root’;
mysql> select host,user, authentication_string, password_expired from user;
mysql> update user set password_expired=‘N’ where password_expired=‘Y’ //密码不过期
mysql> update user set host=’%’ where user=‘root’ and host=‘localhost’; //远程可访问
mysql> flush privileges; //刷新
mysql> exit;//退出

⑦修改配置文件/etc/my.cnf删除此前新增那一行skip-grant-tables，并重启MySQL
mysql -u root -p 输入密码验证一下看是否可以通过设置的密码登陆

⑧创建数据库
创建 hive数据库
mysql> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
创建 activity monitor
mysql> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
创建 hue
mysql> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
创建 oozie
mysql> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

⑨授权root用户在主节点拥有所有数据库的访问权限（主节点）
mysql> grant all privileges on . to ‘root’@’%'identified by ‘root’ with grant option;
mysql> flush privileges;

注意：授权是可能会出现授权失败的问题，原因是密码策略问题，需要在/etc/my.conf 中添加 如下允许使用简单密码
validate_password=off
保存以后需要重启mysql

三、安装CDH

1.将CM解压到/opt

tar xvf cloudera-manager-centos7-cm5.14.3_x86_64.tar.gz -C /opt/

2.将mysql jdbc包复制到 /opt/cm-5.14.3/share/cmf/lib

cp mysql-connector-java.jar /opt/cm-5.14.3/share/cmf/lib

3.初始化CM

/opt/cm-5.14.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

4.在所有节点创建用户

useradd --system --home=/opt/cm-5.14.3/run/cloudera-scm-server --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm

5.修改主节点的cloudera-scm-agent配置

（1）在主节点上，修改/opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini文件

（2）将cm-5.14.3打包，发送到其他agent 节点
scp cm-5.14.3.tar.gz gz238-102:$PWDscpcm-5.14.3.tar.gzgz238-103:$PWD
然后解压（所有节点）
tar xvf cm-5.14.3.tar.gz

6.将其他的三个包复制到/opt/cloudera/parcel-repo 目录下

7.启动Server和Agent

（1）节点启动Server
/opt/cm-5.14.3/etc/init.d/cloudera-scm-server start
注意： 启动的时候可能会有 pstree: command not found
解决方式：yum install psmisc -y

（2）在所有节点启动agent
/opt/cm-5.14.3/etc/init.d/cloudera-scm-agent start

8.通过浏览器访问CM

地址：http://主节点IP:7180
用户名、密码：admin

9.安装CDH

（1）登陆界面后接受协议

（2）选择CM的版本
本次安装选择Cloudera Express免费版

（3）选择“当前管理的主机“选择项卡，点【继续】。




（4）检查时出现如下情况需要进行处理

① 修改linux内核参数
设置swappiness，控制换出运行时内存的相对权重，Cloudera 建议将 swappiness 设置为 10
//查看swappiness
cat /proc/sys/vm/swappiness
//永久性修改，执行下面两条命令
sysctl -w vm.swappiness=10
echo vm.swappiness = 10 >> /etc/sysctl.conf
② 关闭透明大页面
临时关闭
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

执行完后重新检查主机


数据库设置要和之前mysql创建库的时候一致

安装过程中遇到Unexpected error. Unable to verify database connection.
原因是没有安装mysql-community-libs-compat-5.7.18-1.el7.x86_64.rpm
安装完以后还有这个问题，需要执行 yum install php-devel php-pear httpd-devel

注意:
莫名其妙遇到这个问题,解决方式，返回上一步，重新进入

审核设置：（本次采用的是默认设置）

开始安装 ：

安装过程中遇到 Deploy Client Configuration
这里需要强调一下CDH5默认识别的jdk路径为：/usr/java/default， 本人安装的jdk路径是/usr/java
解决方法
本人将jdk的路径使用软连接的方式将jdk映射到default中，软连接建立命令：
ln -s /usr/java/jdk1.8.0_131/* /usr/java/default/


没用报错，显示安装完成

安装完成

CM5.14启动HUE Load Balancer角色失败。
本次的原因是缺少依赖，需要安装yum -y install mod_ssl
yum -y install httpd