Cloudera Manager5之安装部署CDH5.X

http://blog.csdn.net/freedomboy319/article/details/44804721

本文章介绍Cloudera Manager的安装以及部署CDH5.X。主要分如下章节介绍。

1，安装准备 
2，安装Clouder Manager 
3，部署CDH5.X

1，安装准备 
1.1 安装物理部署图 
 
物理机硬件信息 
2台HP ProLiant DL388 Gen9服务器。每台服务器的配置信息如下： 
- 服务器型号：HP ProLiant DL388 Gen9 
- CPU：2个Xeon E5-2600 v3 CPU，每个CPU 8核心 
- 内存：DDR4 256GB 
- 磁盘：SAS盘，15个，每个900GB，10000转/分钟，其中1个热备，14个可用，并做了RAID5，总容量大约：11700GB 
- 网卡：4个千兆网卡 
物理机软件信息 
- 操作系统： Centos6.6 64位 
- 虚拟化软件：Virtualbox 4.3.26

1.2 IP与主机名对应关系表 

1.3 CDH组件分配表 
CDH安装如下组件：HDFS，HBase，Hive，Hue，Impala，Oozie，Spark，Sqoop2，YARN，Zookeeper，组件对应VM分配情况如下表： 

2，安装Clouder Manager 
2.1 Cloudera Manager安装前执行 
在cdh-node1机器中执行如下命令： 
1， 关闭防火墙，service iptables stop 
2， 关闭Selinux，setenforce 0或修改/etc/selinux/config：SELINUX=disabled； 
3， 最好在/etc/yum.conf增加timeout时间，timeout=120。自己设置长点就行。

2.2 Cloudera Manager下载 
安装包下载URL：http://www.cloudera.com/content/support/en/downloads.html 
或者执行如下命令下载Cloudera Manager5.3的安装包。

<code class="hljs ruleslanguage has-numbering" style="display: block; padding: 0px; color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal; background: transparent;"><span class="hljs-array" style="box-sizing: border-box;">#wget http</span>:<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">//archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin</span></code><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li></ul>

2.3 运行Cloudera Manager Server安装包

<code class="hljs lasso has-numbering" style="display: block; padding: 0px; color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal; background: transparent;">$ chmod u<span class="hljs-subst" style="color: rgb(0, 0, 0); box-sizing: border-box;">+</span>x cloudera<span class="hljs-attribute" style="box-sizing: border-box;">-manager</span><span class="hljs-attribute" style="box-sizing: border-box;">-installer</span><span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">.</span>bin
$<span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">.</span>/cloudera<span class="hljs-attribute" style="box-sizing: border-box;">-manager</span><span class="hljs-attribute" style="box-sizing: border-box;">-installer</span><span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">.</span>bin</code><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li></ul>

2.4 读Cloudera Manager README 

2.5 Cloudera Express License 
 
 
选择“Yes”，然后回车。

2.6 Oracle Binary Code License Agreement 
 
 
选择“Yes”，然后回车。

2.7 Installing JDK 

2.8 Installing Cloudera Manager Server 

2.9 安装结束 
 
选择“OK”，然后回车。 
 
选择“OK”，然后回车，成功结束安装。

注：在安装过程中，由于网络问题，报如下错误： 
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/cloudera-manager-daemons-5.3.2-1.cm532.p0.209.el6.x86_64.rpm: [Errno 12] Timeout onhttp://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/cloudera-manager-daemons-5.3.2-1.cm532.p0.209.el6.x86_64.rpm: (28, ‘Operation too slow. Less than 1 bytes/sec transfered the last 30 seconds’) 
尝试其他镜像。 
解决方法：重新安装Cloudera Manager。

3，部署CDH5.X 
3.1 登陆Cloudera Manager 管理控制台 
在浏览器中输入： 
http://cdh-node1:7180 

输入用户名和密码，用户名和密码默认都是“admin”，然后点击“登录”按钮。

3.2 选择Cloudera Manager版本 

选择“Cloudera Enterprise Data Hub Edition Trial”，点击“继续”按钮。

3.3 显示Cloudera Manager和CDH的安装包 

点击“继续”按钮。

3.4 为 CDH 群集安装指定主机 

输入“10.51.120.5[1-9]”和“10.51.120.6[0-2]”，然后点击“搜索”按钮。 

从搜索的结果可以看出：发现12个主机，运行了SSH，当前的受管状态都是“否”。

3.5 集群安装-选择存储库 

点击“更多选项” 

点击“继续”按钮。

3.6 集群安装- JDK安装选项 

点击“继续”按钮。

3.7 集群安装-提供 SSH 登录凭据 

点击“继续”按钮。

3.8 集群安装-正在安装 

点击“详细信息” 

如果出现“安装失败”，则可以点击“重试失败的主机”按钮，重新安装。 
安装过程中，可能会有多次安装失败，这时点击“重试失败的主机”按钮，重新安装。

安装完成界面 

点击“继续”按钮。

3.9 集群安装-正在安装选定Parcel 

此过程需要的时间比较长，我安装时花了10个小时。此步骤，下载parcel，默认下载位置为：/opt/cloudera/parcel-repo/CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel 
/opt/cloudera/parcel-repo/CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha 

点击“继续”按钮。

3.10 集群安装-检查主机正确性 
检查的明细如下： 

CDH各个组件版本信息如下： 

3.11 集群设置-选择要在集群安装的CDH5服务 

选择“自定义服务”，点击“继续”按钮。

3.12 群集设置-自定义角色分配 

3.14 群集设置-数据库设置 

点击“继续”按钮。

3.15 群集设置-审核更改 
这里修改了数据存放目录。 

点击“继续”按钮。

3.16 群集设置-命令进度 

点击“继续”按钮。

3.17 群集设置-完成安装 

点击“完成”按钮，即可完成安装。