clouder CDH 离线安装指南

clouder CDH 离线安装指南

1 ClouderManager安装

1.1  什么是ClouderManager ?

ClouderManager简单来说，是一套管理hadoop体系各个组件的个工具，以管理平台的方式，管理，安装，配置，监控，各个模块，方便使用

1.2  下载ClouderManager

首先，您需要进入到clouder的官方下载地址

http://www.cloudera.com/content/support/en/documentation/manager/cloudera-manager-v5-latest.html

 

 

Cloudera Manager 5.0.x Release Notes                         CM的发行记录

Cloudera Manager Introduction CM的简单介绍

Cloudera Manager Quick Start Guide                          CM速度入门指南

Cloudera Manager Version and Download Information           CM下载和版本信息

Managing Clusters with Cloudera Manager                      CM集群管理说明

Cloudera Manager Monitoring and Diagnostics Guide            CM的监控的问题诊断

 

1.3  为ClouderManager建立本地安装源

在CM的安装文档 Cloudera Manager Quick Start Guide 

中描述了两种安装方式：

第一种为直接线上安装，安装所需要的软件包从Clouder的官方下载

第二种为离线安装，安装所需要的软件包需要 手动 下载

这里采用第二种方式 节省时间

准备工作

1.根据安装版本 下载clouder-manager.repo 文件,此文件可以看做是安装向导

通常一个repo文件定义了一个或者多个软件仓库的细节内容

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

将下载clouder-manager.repo移动到/etc/yum.repos.d 目录

文件内容如下：

 

基本配置项的解释：

解释：
[....]     代表这个库的名字，必须是唯一的，不可以重复。
name＝     是这个库的说明，没有太大的实际意义，只是一个字段说明。
baseurl＝  说明采取什么方式传输，具体路径在哪里，可以使用的方式有,file://，ftp://，http://等
enabled=1  说明启用这个更新库，0表示不启用。
gpgcheck=1 表示使用gpg文件来检查软件包的签名
gpgkey=    表示gpg文件所存放的位置，此处也可以有http方式的位置。

 

2.修改 clouder-manager.repo新建内容

我们需要把baseUrl，gpgkey修改为本地服务器路径

确保文件可以被编辑

Chmod 755  /etc/yum.repos.d/clouder-manager.repo

 Vi   /etc/yum.repos.d/clouder-manager.repo

 

 

如图所示：这里 http://192.168.50.144/cloudera-cdh5 为相对路径，转义后服务器地址为/home/RPM/

Baseurl=/home/RPM/cm5/redhat/RPMS

Gpgkey=/home/RPM/cm5/redhat/RPMS/RPM-GPG-KEY-cloudera

 

这里说明一下 Baseurl 和 Gpgkey后面路径下的文件需要下载到本地

Baseurl 资源下载

 

可以通过

wget -c -r -np -k -L -p  加上图中的资源路径 版本不同 路径不同 灵活应用

 

 

Gpgkey资源下载

 

 

wget -c -r -np -k -L -p  加上图中的资源路径 版本不同 路径不同 灵活应用

 

3 下载安装脚本文件 cloudera-manager-installer.bin

根据自己安装版本下载

 

下载路径

http://archive-primary.cloudera.com/cm5/installer/ 

 

可以看出来 这个文件通过  clouder-manager.repo的指引完成安装过程

 

 

 

 

 

在安装CM的本地仓库建设过程中，通常需要注意以下几个地方：

 

1：/etc/hosts 除了保证集群中各个节点的IP-主机映射意外，务必保证LocalLost也必须附加。这是因为CM底层的数据库启动关闭中，默认是通过Localhost来执行Shell命令

 

2：请务必保证 mysql的链接jar包在CentOS中成功安装，通过命令:

sudo yum install mysql-connector-java

可以直接安装Mysql-connector-java，  注意，在安装的过程中，通常会默认的将openJDK一起下载并安装，由此可能会引起其他安装项目的冲突。

 

3：请在运行安装脚本前，在每一天机器 运行 yum makeCache命令

 

启动脚本文件进行安装

 

执行cloudera-manager-installer.bin --skip_repo_package=1 文件 执行安装

 

一直点击OK 完成安装

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2 Clouder CD5安装

1.1  什么是ClouderCDH5?

CDH5，是Clouder公司，对于社区大数据，hadoop体系各个组件的二次封装。涵盖hadoop yarn，hbase，hive，impala，oozie，sqoop，spark等一系列的数据处理组件。

1.2  下载ClouderManager

首先，您需要进入到clouder的官方下载地址

http://www.cloudera.com/content/support/en/documentation/cdh5-documentation/cdh5-documentation-v5-latest.html

 

这里默认的版本为2014年发布的CDH5.

 

 

和Clouder CM类似，这里包括了CDH的所有文档

 

下载并打开 CDH 5.0.x Installation Guide 

 

 

 

 

 

 

 

1.3 详细的安装过程

 

1：参照clouder Manager安装成功以后给你的提示，请在您CM 主机的：7180 端口进行访问

 

2：默认账户：为Admin：密码：admin

 

 

点击继续

 

 

 

填写您所需要安装的节点，端口为22.点击【搜索】继续

 

 

这里将显示目前所能够加入集群的机器，这里impala2机器已经处于CM的托管状态。

点击继续：

 

 

 

 

 

这里请选择 

 

 1：使用数据包。界面中数据包是指我们前文中下载的 RPM安装包，Parcel包，是指CLouder能提供后续的支持的安装包

 

 2：这里我们使用的是CDH5的版本

在自定义的存储库中配置的地址  包括baseURL地址

 

 

 

继续以后请填写您的主机访问密码，这里为Root用户的密码，以及端口。

 

 

点击继续以后

 

 

进入安装过程