基于ubuntu 16.04搭建CDH环境

准备过程

1. 环境：

Ubuntu16.04 desktop x 5 台
ip和主机名：
192.168.1.83 master
192.168.1.81 slave1
192.168.1.82 slave2
192.168.1.84 slave3
192.168.1.88 slave4
搭建过程使用普通用户hadoop（若为root用户，所有指令去掉sudo即可）。

2. 要下载的安装包：

下载地址：http://archive.cloudera.com/cm5/cm/5

1. cloudera-manager-xenial-cm5.15.0_amd64.tar.gz

注意下载与ubuntu系统版本一致的文档，16.04的代号是Xenail，14.04的代号是trusty。由于采用的系统是16.04，所以下载xenial版本的文件，否则可能会出现不兼容的问题。

下载地址：http://archive.cloudera.com/cdh5/parcels

2. CDH-5.15.0-1.cdh5.15.0.p0.21-xenial.parcel
3. CDH-5.15.0-1.cdh5.15.0.p0.21-xenial.parcel.sha1
4. manifest.json

下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

5. jdk-8u151-linux-x64.tar.gz

下载地址：http://archive.cloudera.com/kafka/parcels

6. KAFKA-2.2.0-1.2.2.0.p0.68-xenial.parcel
7. KAFKA-2.2.0-1.2.2.0.p0.68-xenial.parcel.sha1

下载地址：https://www.scala-lang.org/download

8. scala-2.11.8.tgz

下载地址：maven仓库（https://mvnrepository.com/）

9. mysql-connector-java-5.1.47.jar

下载地址：http://archive.cloudera.com/csds/kafka/?spm=a2c4e.11153940.blogcont603705.9.bf9350c07gHBqo

10. KAFKA-1.2.0.jar

将所有要用到的安装包都上传到master节点的home/hadoop/package目录下。

3. 主机环境配置

3.1 修改hostname

主节点master：

sudo vim /etc/hostname

修改完主机名后重启

reboot

从节点slave1-4：

sudo vim /etc/hostnam

修改完主机名后重启

reboot

3.2 修改hosts(所有节点都要)

sudo vim /etc/hosts

添加以下内容：

192.168.1.83 master
192.168.1.81 slave1
192.168.1.82 slave2
192.168.1.84 slave3
192.168.1.88 slave4

注意：部分主机含有127.0.1.1 的地址 用#注释或删除

3.3 关闭防火墙（所有节点）：

ufw disable

3.4 ssh免秘钥

cd
mkdir .ssh
cd .ssh
ssh-keygen -t rsa
ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub slave1

连续敲击回车最后输入slave1密码完成master和slave1的免密钥登录配置。
再同样的方法节点两两之间配置免秘钥。

3.5 安装jdk(所有节点)

3.5.1 将java安装包分发到其他节点（master节点）

sudo scp /home/hadoop/package/jdk-8u151-linux-x64.tar.gz hadoop@slave1:/home/hadoop/package/

注意：slave1为slave节点的主机名，分别为slave1，slave2， slave3，slave4.

以下步骤所有节点都要做。

3.5.2 创建java安装路径

cd /usr
sudo mkdir java

3.5.3 将java解压到/usr/java目录下

sudo tar -xzvf /home/hadoop/package/jdk-8u151-linux-x64.tar.gz -C /usr/jav