CDH5.11安装详解

1.1．环境搭建所需安装文件表

项目名称	包名
Liunx系统：	CentOS-7-x86_64-Minimal-1511
JDK：	jdk-8u131-linux-x64.tar.gz
MySQL文件：	compat-mysql51-5.1.73-1.el6.remi.x86_64.rpm mysql-connector-java-5.1.46-bin.jar MySQL-client-5.6.42-1.el7.x86_64.rpm MySQL-devel-5.6.42-1.el7.x86_64.rpm MySQL-server-5.6.42-1.el7.x86_64.rpm
Cloudera Manager 安装包： http://archive.cloudera.com/cm5/cm/5/	cloudera-manager-centos7-cm5.11.0_x86_64.tar.gz
CDH 5.11 安装包： http://archive.cloudera.com/cdh5/parcels/latest/	CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel.sha1 manifest.json
KAFKA安装包： csd： http://archive.cloudera.com/csds/kafka/ parcel：http://archive.cloudera.com/kafka/parcels/latest/	KAFKA-1.2.0.jar KAFKA-2.1.1-1.2.1.1.p0.18-el7.parcel KAFKA-2.1.1-1.2.1.1.p0.18-el7.parcel.sha1 manifest.json
SPARK2安装包： csd:http://archive.cloudera.com/spark2/csd/ parcel:http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/	SPARK2_ON_YARN-2.1.0.cloudera1.jar SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el7.parcel SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el7.parcel.sha1 manifest.json
Phoenix： http://archive.cloudera.com/cloudera-labs/phoenix/parcels/1.3/	CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel.sha1 manifest.json
Zeppelin： http://zeppelin.apache.org/download.html	zeppelin-0.8.0-bin-all.tgz

2、安装Linux系统

略

3、配置静态IP

#vi /etc/sysconfig/network-scripts/ifcfg-eth0：添加静态IP。
注：网卡配置文件不一定是eth0,如果有多块网卡要配置对应的网卡配置文件。

保存退出 :wq
重启：service network restart
验证 ： ifconfig

4、修改主机名

#Vim /etc/sysconfig/network
HOSTNAME=NameNode
确实修改生效命令：
#hostname NameNode
检查主机名：
#hostname
其他4台一样修改为SNameNode、DataNode1、 DataNode 2、 DataNode 3

5、修改hosts列表

打开文件添加列表：
#Vim /etc/hosts

10.200.90.162 SNameNode
10.200.90.163 DataNode1
10.200.90.164 DataNode2
10.200.90.165 DataNode3

6、关闭防火墙

如果你的系统上没有安装防火墙，使用命令安装
安装firewalld 防火墙：
#yum install firewalld
开启服务：
#systemctl start firewalld.service
关闭防火墙：
#systemctl stop firewalld.service
开机自动启动：
#systemctl enable firewalld.service
关闭开机制动启动：
#systemctl disable firewalld.service
使用firewall-cmd 命令查看状态：
#firewall-cmd --state //running 表示运行

7、修改selinux

对于强制访问控制的实现
# vim /etc/sysconfig/selinux
SELINUX=disabled
重启才能生效，重启后检查
#sestatus -v
SELinux status: disabled
表示已经关闭了

8、NTP时钟与主机同步

NTP服务的安装和配置
首先安装ntp
#yum install ntp
安装完毕之后，启动服务
#systemctl start ntpd.service
设置开机自启动
#systemctl enable ntpd.service
修改/etc/ntp.conf文件：
#vim /etc/ntp.conf
注释掉所有server ..*的指向，新添加一条可连接的ntp服务器
server ntp1.aliyun.com iburst
在其他节点上把ntp指向master服务器地址即可。
注意：如果修改不成功直接配置和主节点一样。
server 10.200.90.161 iburst
设置后，重启ntpd服务，用ntpstat来检查效果【大概几秒钟就可以看到效果】
#systemctl restart ntpd
#ntpstat

检查是否已同步，配置完以后5台服务器的时间是同步的。
#date

9、Ssh免密钥登录

查看是否安装openssh和rsync如果没有安装则使用yum安装。
#rpm -qa | grep openssh
#rpm -qa | grep rsync
输入：ssh-keygen -t rsa一路回车即可，生成的密钥写入一个文件中：
#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
然后将其他4台的密钥写入本机的authorized_keys文件，再复制到每台相应的文件中。
注意：复制粘贴的不行，需要用cat * >> * ，命令才能生效。
验证：
#ssh SNameNode