CDH5.16.2安装部署(一)准备工作

一、集群规划

离线部署：mysql cm( server agent 主从架构 ) parcel文件

规划：

hadoop001：mysql cm-server cm-agent nn snn dn rm nm zk

hadoop002：cm-agent dn nm broker zk

hadoop003：cm-agent dn nm broker zk

原则：

1. 选择第一台  配置不是太强的做为  工具节点  mysql  cm-server  cm-agent
2. 选择2台  专门做  大数据生态圈的主从架构的组件（HDFS  YARN  HBase）的  主角色
3. datanode和nodemanager部署在同一台 ==> 数据本地化，dn是用来做存储的，nm是用来做计算的，部署在同一台，可以尽可能的使计算离数据更近一些。
4. 其他非主从架构的组件的进程  随意部署  尽量在同一个机架

二、云平台集群环境准备

2.1 云平台需求：

• 杭州 、可用区G
• 2core、16G
• centos、7.2 64位
• 高效云盘 40G
• 网络 默认
• 公网宽带：按固定带宽 1M

2.2安装包

组件	版本	链接
JDK	jdk-8u251-linux-x64.tar.gz	https://www.oracle.com/java/technologies/javase-downloads.html
MySQL	mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz	https://downloads.mysql.com/archives/community/
MySQL驱动	mysql-connector-java-5.1.47.tar.gz	https://downloads.mysql.com/archives/c-j/
CM tar包	cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz	http://archive.cloudera.com/cm5/cm/5/
parcel	CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 manifest.json	http://archive.cloudera.com/cdh5/parcels/5.16.2/

 

三、集群节点初始化工作

3.1 命令

安装包上传目录

mkdir ~/cdh5.16.2

安装上传下载命令(上传时可历时增加带宽)

yum install lrzsz   

3.2 配置ip和域名映射关系

hadoop001

hadoop002

hadoop003

3.3 防火墙

建议：尽量关闭防火墙 (自己的机房、IDC托管的机器、云主机)

systemctl stop firewalld

systemctl disable firewalld

iptables -F

3.4关闭selinux

vi /etc/selinux/config

SELINUX=disable

3.5时区、时钟的同步 (云主机可忽略）

1) 时区

timedatectl --help 

timedatectl list-timezones

2) 时钟

安装ntp工具

yum install -y ntp

策略：选择第一台节点作为ntp主节点，从网络或本地同步时间，其他节点作为从节点，从主节点同步时间

a) 主节点：

vi /etc/ntp.conf

#time

server 0.asia.pool.ntp.org

server 1.asia.pool.ntp.org

server 2.asia.pool.ntp.org

server 3.asia.pool.ntp.org

#当外部时间不可用，使用本地硬件时间

server 127.127.1.0 iburst local clock

#允许哪些网段的机器来同步时间

restrict 网段.0 mask 255.255.255.0 nomodify notrap

# 开启ntp

systemctl start ntpd

# 查看ntp的状态

systemctl status ntpd

# 查看ntp的网络服务器

ntpq -p

b) 从节点

# 关闭ntp

systemctl stop ntpd

# 禁用ntp

systemctl disable ntpd

# 从主节点同步时间

ntpdate hadoop001

# 使用crontab每天凌晨定时同步主节点的时间

crontab -e

00 00 * * * ntpdate hadoop001