一、系统概述
CDH(Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、HBase、Pig、Hive、Impala、Zookeeper、Solr、Oozie、Hue、Sqoop、Spark服务的安装配置管理做了极大简化。
1.1 系统环境
实验环境:浪潮24核、64G内存、千兆网卡服务器3台以上;
操作系统:Ubuntu14.04;
Cloudera Manager版本:5.8.0
CDH版本: 5.8.0
1.2 安装说明
本项目选择离线安装。
1.3 安装包下载
由于我们的操作系统为Ubuntu14.04,需要下载以下文件:
1> CDH-5.8.0-1.cdh5.8.0.p0.42-trusty.parcel
2> CDH-5.8.0-1.cdh5.8.0.p0.42-trusty.parcel.sha1
3> cloudera-manager-trusty-cm5.8.0_amd64.tar.gz
4> manifest.json
5> mysql-connector-java-6.0.4.jar
二、系统环境搭建
以下操作均用root用户操作,这里以三台机器为例。
2.1 主机配置
修改hostname:
修改ip与主机名的对应关系:
$ vim /etc/hosts
192.168.3.57 CDH01
192.168.3.58 CDH02
192.168.3.59 CDH03
注意:这里需要将每台机器的ip及主机名对应关系都写进去,本机的也要写进去,否则启动Agent的时候会提示hostname解析错误。
2.2 打通SSH
针对所有节点,设置ssh无密码登陆(ubuntu的超级用户,非root)。这里打通的目的纯粹是为了登陆方便,与安装其实是无关的。
在主节点上执行下面命令,一路回车,生成无密码的密钥对:
$ ssh-keygen
然后拷贝到其他节点,命令如下:
$ ssh-copy-id -i ~/.ssh/id_rsa.pub CDH02
此时需要输入一遍密码。
测试:在主节点上ssh CDH02,正常情况下,不需要密码就能直接登陆进去了。
注意:这里只是将主节点和其他节点打通,也可以通过上述方式将集群中的机器相互SSH打通。
2.3 安装JDK(这里要在root和zxapt两个账户下都操作下下面这段,先装root下的,装好后zxapt只需要用下面的config选择一下即可)
在所有节点上安装JDK8版本。下载jdk8,例如解压到/opt
文件夹下。然后修改环境变量:
sudo vim ~/.bashrc
文件末尾加入:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_60 ## 这里要注意目录要换成自己解压的jdk 目录
expor