CDH Hadoop 5.5.4 安装配置 完整记录

一、Cloudera Manager/CDH5

1．关于cloudera manager和CDH是什么，这里不做详细介绍了。

2．官网的安装指南

官方文档提供了三种安装方式：

  在线自动安装/手动安装包安装/手动使用cloudera manager管理安装

  此处使用第三种方式安装hadoop集群。

 

二、环境规划

1．系统：CentOS 6.4_x86

 master：4G内存，硬盘尽量大容量

 slave1：2G内存，硬盘尽量大容量

 slave2：2G内存，硬盘尽量大容量

2．Cloudera Manager 5.5.4

3．CDH 5.5.4

安装包下载

下载软件包

 

三、系统环境准备工作

1．此次执行权限均为root用户

2．所有的机器都必须ssh互信模式

3．修改主机名使用hosts文件或者DNS服务器

4．关闭iptables和selinux

5．卸载系统自带的openjdk,安装oracle的jdk

6．master节点安装mysql

7．所有节点的时间必须同步(ntp服务器或其他方法)

8．修改所有节点的内核参数

i. echo 0 > /proc/sys/vm/swappiness

ii.echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

 

 

四、正式开始安装

1．cloudera manager默认的目录是在/opt下，解压到/opt目录下。

[root@hadoop01 cdh]# tar -zxvf cloudera-manager-el6-cm5.5.4_x86_64.tar.gz -C /opt/

[root@hadoop01 cdh]# ls /opt/

cloudera  cm-5.5.4 

上传mysql-connector-java-5.1.39-bin.jar到/usr/share/java和/opt/cm-5.5.4/share/cmf/lib路径下，并重命名为mysql-connector-java.jar

 

注意，如上如所示，CDH会执行上面的命令，所以错一个字母都不行的。

2．初始化数据库

[root@hadoop01 lib]# /opt/cm-5.5.4/share/cmf/schema/scm_prepare_database.sh mysql cm root root

3．复制数据到其他节点

# 修改配置文件server_host为master节点的主机名

[root@hadoop01 lib]# vi /opt/cm-5.5.4/etc/cloudera-scm-agent/config.ini

server_host=hadoop01

 

#分发CDH

[root@hadoop01 ~]# scp -rp /opt/cm-5.5.4 hadoop05:/opt/ && scp -rp /opt/cm-5.5.4 hadoop06:/opt/

 

# 每个节点创建系统用户

useradd --system --home=/opt/cm-5.5.4/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4．数据库的配置

--hive

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

--oozie

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 

--active monitor

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

5．准备parcels安装包到/opt/cloudera/parcel-repo/

# [root@hadoop01 parcel-repo]# ls

CDH-5.5.4-1.cdh5.5.4.p0.11-el6.parcel  CDH-5.5.4-1.cdh5.5.4.p0.11-el6.parcel.sha  manifest.json

# 注意：CDH-5.5.4-1.cdh5.5.4.p0.11-el6.parcel.sha下载后的文件重命名的

 

# 启动master节点的server和agent脚本

/opt/cm-5.5.4/etc/init.d/cloudera-scm-server start

/opt/cm-5.5.4/etc/init.d/cloudera-scm-agent start

 

/opt/cm-5.5.4/etc/init.d/cloudera-scm-server stop

/opt/cm-5.5.4/etc/init.d/cloudera-scm-agent stop

 

# server端口启动较慢

 

# 启动其他所有节点的agent脚本

/opt/cm-5.5.4/etc/init.d/cloudera-scm-agent start

 

五、CDH 5安装配置

1．访问http://192.168.56.201:7180/cmf/login端口开始安装

 

登陆名:admin 密码:admin

 

选择一个版本进行安装，此处选择第一个免费版。然后下一步-->下一步

 

2．选中所有主机：

 

3．如果配置正确，会出现如下界面

 

4．然后继续下一步,由于我们已经下载了离线包，所以下载是很快就能完成的

 

5．主机检测，检测主机是否符合安装要求，符合要求后会全部通过，否则请按照要求设置

 

6．然后选择需要安装的软件包，可以全选或自定义，也可以选择集成了某一个组件功能的软件包来安装

 

7．角色分配，此处默认，可以按需调整

 

8．数据库测试:

 

9．审核更改参数，可以使用默认，也可以按需更改

 

10．启动正常的安装配置了，等待安装完成后再次访问主页即可。

 

11．完成后的登陆界面

由于主机性能较低，数据延迟很大，查询经常无法显示。而且由于此处的磁盘空间不足，所以有很多警告信息。到此安装已全部完成。

 

 

六、Hadoop测试程序

# 计算pi值

hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100

...

Job Finished in 126.439 seconds

Estimated value of Pi is 3.14800000000000000000

# 可以看到执行结果

可以在YARN的web界面看到详细job的信息

还有很多测试程序可以运行测试。这里就不一一演示了。

另外，这种安装方式虽然快捷方便，但是不利于对整体的理解，建议还是使用下载安装包的方式安装，配置文件等都是需要手动编写的，对于理解比较深刻。