ubuntu服务器下安装CDH5.8安装部署

一、系统概述

CDH（Cloudera's Distribution, including Apache Hadoop），是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、HBase、Pig、Hive、Impala、Zookeeper、Solr、Oozie、Hue、Sqoop、Spark服务的安装配置管理做了极大简化。

1.1 系统环境

实验环境：浪潮24核、64G内存、千兆网卡服务器3台以上；

操作系统：Ubuntu14.04；

Cloudera Manager版本：5.8.0

CDH版本: 5.8.0

1.2 安装说明

本项目选择离线安装。

1.3 安装包下载

由于我们的操作系统为Ubuntu14.04，需要下载以下文件：

1> CDH-5.8.0-1.cdh5.8.0.p0.42-trusty.parcel

2> CDH-5.8.0-1.cdh5.8.0.p0.42-trusty.parcel.sha1

3> cloudera-manager-trusty-cm5.8.0_amd64.tar.gz

4> manifest.json

5> mysql-connector-java-6.0.4.jar

二、系统环境搭建

以下操作均用root用户操作，这里以三台机器为例。

2.1 主机配置

修改hostname：

修改ip与主机名的对应关系：

$ vim /etc/hosts

192.168.3.57   CDH01

192.168.3.58   CDH02

192.168.3.59   CDH03

注意：这里需要将每台机器的ip及主机名对应关系都写进去，本机的也要写进去，否则启动Agent的时候会提示hostname解析错误。

2.2 打通SSH

针对所有节点，设置ssh无密码登陆(ubuntu的超级用户，非root)。这里打通的目的纯粹是为了登陆方便，与安装其实是无关的。

在主节点上执行下面命令，一路回车，生成无密码的密钥对：

$ ssh-keygen

然后拷贝到其他节点，命令如下：

$ ssh-copy-id -i ~/.ssh/id_rsa.pub CDH02

此时需要输入一遍密码。

测试：在主节点上ssh CDH02，正常情况下，不需要密码就能直接登陆进去了。

注意：这里只是将主节点和其他节点打通，也可以通过上述方式将集群中的机器相互SSH打通。

2.3 安装JDK(这里要在root和zxapt两个账户下都操作下下面这段,先装root下的，装好后zxapt只需要用下面的config选择一下即可)

在所有节点上安装JDK8版本。下载jdk8，例如解压到/opt

文件夹下。然后修改环境变量：

sudo vim ~/.bashrc

文件末尾加入：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_60  ## 这里要注意目录要换成自己解压的jdk 目录 

expor