Cloudera Manager 离线安装详细介绍

使用Cloudera Manager安装Hadoop

 

 

 

目 录

1           准备工作...........................................................................................................................................3

1.1       说明...............................................................................................................................................3

1.2       集群网络环境介绍..........................................................................................................................3

2           环境搭建...........................................................................................................................................5

2.1       设置IP...........................................................................................................................................5

2.2       设置hosts......................................................................................................................................5

2.3       关闭防火墙....................................................................................................................................6

2.4       关闭SElinux....................................................................................................................................8

2.5       设置机器名....................................................................................................................................8

3           ClouderaManager安装................................................................................................................... 11

3.1       下载Cloudera Manager安装文件................................................................................................... 11

3.2       下载Cloudera Manager所需的rpm包............................................................................................ 11

3.3       安装rpm文件............................................................................................................................... 11

3.4       安装CM....................................................................................................................................... 11

3.5       登录CM....................................................................................................................................... 12

4           ClouderaManager配置及本地源配置.............................................................................................. 13

4.1       配置config.ini文件........................................................................................................................ 13

4.2       配置本地源.................................................................................................................................. 14

5           Hadoop及其组件安装......................................................................................................................17

5.1       选择Cloudera版本........................................................................................................................ 17

5.2       选中受管理的主机........................................................................................................................ 17

5.3       选择安装方式（Cloudera推荐使用Parcel）................................................................................... 18

5.4       把Parcel分配到主机..................................................................................................................... 18

5.5       选择服务...................................................................................................................................... 19

5.6       测试数据库连接........................................................................................................................... 20

5.7       等待所有服务启动........................................................................................................................ 20

 

6           向集群增加节点............................................................................................................................... 22

6.1       添加主机...................................................................................................................................... 22

6.2       输入IP或主机名........................................................................................................................... 23

6.3       提供SSH登录凭据........................................................................................................................ 24

6.4       安装............................................................................................................................................. 24

 

 

 

使用Cloudera Manager安装Hadoop

运行环境

软硬件环境

l  主机操作系统：Windows 64 bit，双核4线程，主频2.2G，8G内存

l  虚拟软件：VMware®Workstation 9.0.0 build-812388

l  虚拟机操作系统：CentOs 64bit，单核，2G内存

l  JDK：1.7.0_45 64 bit

l  Hadoop：2.2.0 

集群网络环境

集群包含三个节点：1个namenode，1个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下：

l  192.168.188.141  hadoo1 (namenode))

l  192.168.188.139  hadoo2 (datanode01)

l  192.168.188.140  hadoo3 (datanode03)

所有节点均是CentOS系统，防火墙iptables均禁用

环境搭建

本集群分为三个节点，先安装节点hadoop1（192.168.188.141），完成2.1~2.6步骤后，在步骤2.7中复制虚拟机并命名为hadoop2（192.168.188.139）和hadoop3（192.168.188.140）。

设置IP

1.    点击System-->Preferences-->Network Connections，如下图所示：

2.    删除原来的连接信息，新建一个“”连接，设置该连接为手工方式，设置如下信息：

      IP地址： 10.88.147.221

      子网掩码： 255.255.255.0

      网关：     10.88.147.1

      DNS：    10.*.*.* (使用DNS上网需要设置)

3.    在命令行中查看设置的IP地址信息，如果不能够正确可以在执行2.5重启机器后再次确认：

 

设置Host文件

1.    编辑/etc/hosts文件，设置IP地址与机器名的映射，设置信息如下：

l     10.88.147.141hadoop1.localdomain

l    10.88.147.139hadoop2.localdomain

l    10.88.147.140hadoop2.localdomain

 

2.    使用如下命令对网络设置进行重启

sudo /etc/init.d/network restart

3.    验证设置是否成功

关闭防火墙

在Hadoop安装过程中需要关闭防火墙和SElinux，否则会异常

1.    service iptables status 查看防火墙状态，如下所示表示iptables已经开启

2.    使用如下命令关闭iptables，执行该命令后重启机器生效

chkconfig iptables off

关闭SElinux

1.    使用getenforce命令查看是否关闭

2.    修改/etc/selinux/config 文件

将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效

 

设置机器名

以root用户登录，使用 vi/etc/sysconfig/network 打开配置文件，修改主机名称为hadoop1

复制虚拟机

关闭机器，复制当前节点两份，分别命名为：hadoop2和hadoop3

SSH无密码验证配置(这一步可省略)

3.    在三个节点中使用ssh-keygen -t rsa生成私钥和公钥；

4.    在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3；

5.    把两个从节点的公钥使用scp authorized_keys_hadoop2 jan@hadoop1:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中；

6.    把三个节点的公钥信息保存到authorized_key文件中

使用cat authorized_keys_hadoop1 >> authorized_keys命令

7.    把该文件分发到其他两个从节点上

使用scp authorized_keys jan@hadoop2:/home/jan/.ssh把密码文件分发出去

8.    测试ssh免密码登录是否生效

Cloudera Manager安装

下载Cloudera Manager安装文件

Cloudera Manager的可以从如下网址获得：

http://archive.cloudera.com/cm5/installer/

这里选择Cloudera Manager 最新版5.0.1

http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

下载Cloudera Manager所需的rpm包

下载网址为：

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.0.1/RPMS/x86_64/

安装rpm文件

l 将下载的rpm包放入文件夹rpm（文件夹名随意）

l cd  ./rpm（进入rpm目录）

l yum localinstall –-nogpgcheck  *.rpm(安装rpm包)

3.4 安装rpm文件

l 进入cloudera-manager-installer.bin的下载目录

l chmod u+x cloudera-manager-installer.bin（给下载的bin文件权限）

l 执行 ./cloudera-manager-installer.bin（大约十分钟左右）

 

3.5登录CM

浏览器输入localhost：7180初次登录 用户名：admin 密码：admin

Cloudera Manager文件配置及本地源配置

配置config.ini文件

修改主机名

修改前为：localhost   修改后为：localhost.localdomain

本地源配置

Parcel的可以从如下网址获得，下载.parcel文件和manifest.json文件：

http://archive.cloudera.com/cdh5/parcels/5.0.1/

因为这里用的是CentOS6.5,所以选择CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel

http://archive.cloudera.com/cdh5/parcels/5.0.1/CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel

注意：Parcel文件对应不同的系统版本

CentOS 6.X对应CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel

CentOS 5.X对应CDH-5.0.1-1.cdh5.0.1.p0.47-el5.parcel

l  把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下

l  新建文件命名为：CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha

l  打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中

以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，这里是：ec68971d2969a5a31e720a2a79ce7a7c1d38e397

{

           "parcelName":"CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel",

           "components": [

                {

                   "pkg_version": "0.7.0+cdh5.0.1+0",

                   "pkg_release": "1.cdh5.0.1.p0.30",

                   "name": "bigtop-tomcat",

                   "version": "6.0.37-cdh5.0.1"

                },

                {

                   "pkg_version": "0.9.0+cdh5.0.1+23",

                    "pkg_release":"1.cdh5.0.1.p0.25",

                   "name": "crunch",

                   "version": "0.9.0-cdh5.0.1"

                },

 

 

 

              .........

 

 

                {

                   "pkg_version": "0.9.0+cdh5.0.1+8",

                   "pkg_release": "1.cdh5.0.1.p0.25",

                   "name": "whirr",

                   "version": "0.9.0-cdh5.0.1"

                },

                {

                   "pkg_version": "3.4.5+cdh5.0.1+30",

                    "pkg_release":"1.cdh5.0.1.p0.31",

                   "name": "zookeeper",

                   "version": "3.4.5-cdh5.0.1"

                }

            ],

           "replaces": "IMPALA, SOLR, SPARK",

            "hash":"ec68971d2969a5a31e720a2a79ce7a7c1d38e397"

        }

l  现在本地源已配好，总之parcel-repo文件中包含一下三个文件：

CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel

CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha

Manifest.json

l  重启系统

Hadoop及其组件安装

选择Cloudera版本

 

选中受管理的主机

 

选择安装方式（Cloudera推荐使用Parcel）

 

 

把Parcel分配到主机

 

 

 

 

 

添加服务

 

 

测试数据库连接

 

 

 

等待所有服务开启

等待所有服务开启，时间可能会有点长

 

 

 

 

向集群增加节点

增加主机

 

输入IP或主机名

 

提供SSH登录凭据

 

安装

 

 

 

 

 

注：本资料所有省略界面，直接点击继续即可