CDH5.16.1集群离线部署

准备工作
1.服务器
关键词：
3台服务器
配置要求至少2核8G
选择同地域同区域服务器，保证内网通畅

个人学习，推荐使用阿里云按量付费的服务器，在使用时候开启，不适用的时候关机停止收费。
需注意两点：
（1）服务器配置至少2核8G，否则CDH集群可能无法正常运行
（2）服务器要保证在同一地域的同一可用却，切记一定不能使用随机分配区域，否则不同地域的实例之间内网互不相通

阿里云的使用细节不做过多描述，不清楚的可以查看若泽数据课程：https://www.bilibili.com/video/av52167219/?p=3

按照操作，最终的配置如下：

2.安装包
CM
cloudera-manager-centos7-cm5.16.1x8664.tar.gz Parcel
CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 manifest.json
JDK
https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html
下载jdk-8u202-linux-x64.tar.gz
MySQL https://dev.mysql.com/downloads/mysql/5.7.html#downloads
下载mysql-5.7.26-el7-x86_64.tar.gz
MySQL jdbc jar
mysql-connector-java-5.1.47.jar
下载完成后要重命名去掉版本号，

mv mysql-connector-java-5.1.47.jar mysql-connector-java.jar
2.规划
节点 MySQL部署组件 Parcel文件离线元 CM服务进程 大数据组件
hadoop001 MySQL Parcel Activity Monitor NN RM DN NM
hadoop002 Alert PublisherEvent Server DN NM
hadoop003 Host MonitorService Monitor DN NM
3.集群节点初始化
1.配置host
vim /etc/hosts

172.26.84.187 hadoop001
172.26.84.188 hadoop002
172.26.84.189 hadoop003

2.配置防火墙（详细介绍阿里云服务器）
（1）如果使用内部服务器，建议先关闭防火墙，集群搭建起之后，再开启相关端口。防火墙相关命令，自行查找。

（2）阿里云服务器默认防火墙为关闭状态，在阿里云的web界面，找到服务器的安全组，对服务器的安全组进行配置，操作如下
1.进入服务器列表，找到 安全组配置

2.点击配置规则

3.添加配置规则
图中的规则代表：开启7180到7180直接的端口号，授权对象，即访问限制的ip为0.0.0.0/0，即所有ip地址均可访问该web端口。

3.时区设置，timezone和datatime同步（阿里云时间基本不会出问题，方法二可跳过）
(1) 通过date命令以及timedatectl，查找集群每台机器时间是否一致、时区是否一致以及是否为CST格式的时间。
CST被视为美国、澳大利亚、古巴或中国的标准时间

如果时区不一致，使用timedatectl --help查看相关命令
使用list-timezones查看时区列表

set-timezone Asia/Shanghai

（2）使用ntp服务设置时区
yum install -y ntp
使用hadoop001 作为时间同步的主节点
hadoop002-003作为时间同步的从节点

设置主节点
vim /etc/ntp.conf
#time
#这个是互联网同步亚洲时区
server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org
#这步很重要，如果该服务器网络出问题了，就同步自己的本地时间
server 127.127.1.0 iburst local clock
#这个是允许客户端172.26.84段的地址可以同步该时间同步服务器。
restrict 172.26.84.0 mask 255.255.255.0 nomodify notrap

systemctl start ntpd 重启ntpdfuwu
systemctl status ntpd 查看ntpd服务状态，当现实为runnig的时候，说明已经开始服务
ntpq -p 查看验证结果
三条命令的操作结果如下

设置从节点
关闭从节点ntpd服务，否则从节点也是使用ntpd网络设置时间
systemctl stop ntpd
systemctl disable ntpd

在从节点使用 /usr/bin/ntpstat hadoop001 表示同步hadoop001节点时间

4.JDK安装

路径：/usr/java
解压之后的用户及用户组的修正
配置环境变量
tar -zxvf jdk包 -C /usr/java
chown -R root:root /usr/java/jdk1.8.0_45/
vim /etc/profile

#env环境变量
export JAVA_HOME=/usr/java/jdk1.8.0_45
export PATH=$JAV{A}_{H}OME/bin:$PATH

source /etc/profile

java -version检查

5.MySQL离线部署
https://github.com/Hackeruncle/MySQL/blob/master/MySQL%205.7.11%20Install.txt

6.准备mysql相关jar包
mkdir -p /usr/share/java
cp mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar

jar包的名称一定要把版本号去掉，否则将不会识别

cmf
amon
都要部署在hadoop001节点上 那么此节点就要部署jar包

7.离线部署CM
解压
tar -zxvf cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz -C /opt/cloudera-manager/
agent配置 （全部机器）
cd /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent

vim config.inc 将server_host修改成主节点的域名

server配置（主节点）
选取hadoop001作为server端，修改server端配置文件
cd /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-server
vim db.properties

Copyright © 2012 Cloudera, Inc. All rights reserved.

This file describes the database connection.

The database type

Currently ‘mysql’, ‘postgresql’ and ‘oracle’ are valid databases.

com.cloudera.cmf.db.type=mysql

The database host

If a non standard port is needed, use ‘hostname:port’

com.cloudera.cmf.db.host=hadoop001

The database name

com.cloudera.cmf.db.name=cmf

The database user

com.cloudera.cmf.db.user=cmf

The database user’s password

com.cloudera.cmf.db.password=mysql的密码

The db setup type

By default, it is set to INIT

If scm-server uses Embedded DB then it is set to EMBEDDED

If scm-server uses External DB then it is set to EXTERNAL

com.cloudera.cmf.db.setupType=EXTERNAL

三台机器创建为cdh运行的用户，用户不需要独立的根目录以及登录，这个用户只是给cdh做启动使用

useradd --system --home=/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false cloudera-scm
修改三台机器目录权限
chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

8.parcel文件离线源 hadoop001
mkdir -p /opt/cloudera/parcel-repo

mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel /opt/cloudera/parcel-repo/

mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha (注意需要给文件重命名 去掉1)

mv manifest.json /opt/cloudera/parcel-repo/

校验文件是否有问题：/usr/bin/sha1sum CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel
对比返回的值 和 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha 的值是否一致

更改用户组：
chown -R cloudera-scm:cloudera-scm /opt/cloudera

这样 hadoop001的离线源部署完成
9.所有节点创建大数据软件的安装目录 用户和用户组
[root@hadoop001 parcel-repo]# mkdir -p /opt/cloudera/parcels
[root@hadoop001 parcel-repo]# chown -R cloudera-scm:cloudera-scm /opt/cloudera
10.启动服务

hadoop001启动server：
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server start --启动server端

cd /opt/cloudera-manager/cm-5.16.1/log/cloudera-scm-server 进入server端日志，查看日志文件

所有服务器，启动scm：

/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent start

11.打开防火墙，开启7180端口
默认用户名：admin
默认密码：admin

选择免费版本即可