离线安装Cloudera Manager 5和CDH5(最新版5.12.0) 完全教程

关于CDH和Cloudera Manager

CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。

系统环境

• 实验环境：Windows7下VMware虚拟机
• 操作系统：CentOS 7 x64 
• Cloudera Manager：5.12.0
• CDH: 5.12.0

安装说明

官方参考文档：
http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Installation-Guide/cm5ig_install_path_C.html

官方共给出了3中安装方式：第一种方法必须要求所有机器都能连网，由于最近各种国外的网站被墙的厉害，我尝试了几次各种超时错误，巨耽误时间不说，一旦失败，重装非常痛苦。第二种方法下载很多包。第三种方法对系统侵入性最小,最大优点可实现全离线安装，而且重装什么的都非常方便。后期的集群统一包升级也非常好。这也是我之所以选择离线安装的原因。

相关包的下载地址

Cloudera Manager下载地址：
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz

CDH安装包地址：http://archive.cloudera.com/cdh5/parcels/5.12/，由于我们的操作系统为CentOS7，需要下载以下文件：

• CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel
• CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha1
• manifest.json

准备工作：系统环境搭建

以下操作均用root用户操作。

1. 网络配置(所有节点)

修改hostname：

2.打通SSH，设置ssh无密码登陆（所有节点）

3.安装Oracle的Java（所有节点）

4.安装配置MySql（主节点）

5.关闭防火墙

6.所有节点配置NTP服务

正式开工

安装Cloudera Manager Server 和Agent

主节点解压安装

cloudera manager的目录默认位置在/opt下，解压:tar -zxvf cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz 解压后的cm-5.12.0和cloudera目录放到/opt目录下。

为Cloudera Manager 5建立数据库

首先需要去MySql的官网下载JDBC驱动，找到mysql-connector-java-5.1.10.jar，放到/opt/cm-5.1.3/share/cmf/lib/中。

在主节点初始化CM5的数据库：

/opt/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

格式是:scm_prepare_database.sh 数据库类型  数据库 服务器 用户名 密码  –scm-host  Cloudera_Manager_Server所在的机器，后面那三个不知道代表什么，直接照抄官网的了。 因为我们用的是Mysql数据库，所以我们需要下载Mysql的JDBC驱动

Agent配置

修改/opt/cm-5.12.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

同步Agent到其他节点

scp -r /opt/cm-5.12.0 root@n2:/opt/

在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.12.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

准备Parcels，用以安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。

相关的文件如下：

CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel
CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha1
manifest.json

最后将CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha1，重命名为CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha，这点必须注意。

相关启动脚本

通过/opt/cm-5.12.0/etc/init.d/cloudera-scm-server start启动服务端。

通过/opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start启动Agent服务。

我们启动的其实是个service脚本，需要停止服务将以上的start参数改为stop就可以了，重启是restart。

CDH5的安装配置

Cloudera Manager Server和Agent都启动以后，就可以进行CDH5的安装配置了。

这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin：