一、简介
CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分,分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包,例如hive、hdfs、spark等等。
由于实验室服务器集群实现了硬件虚拟化,要在虚拟资源重新搭建CDH集群。cloudera的搭建官方提供了三种安装方式。分别是在线安装、yum安装和离线安装,我首先是采用离线安装的方式,这种方式也是目前大部分博客教程所采用的方式。但是照着这种方式我每次到最后安装服务的时候总是在部署配置文件的时候出错,提示错误如图所示:
猜测原因是权限问题,但是在网上寻找办法也一直没有解决。这里吐槽一下cloudera官方社区,没有几个人。因此舍弃到这种安装方式采用在线安装,但是在线安装需要耗费大量时间在软件包的下载上,不过我们可以手动下载安装,这样可以大大提高安装速度。
二、基础环境
软件环境
1.操作系统:Centos6.5
2.CDH软件包版本5.6、Cloudra Manager版本5.7
3.JDK版本oracle jdk1.7.0_67
硬件环境
9台虚拟机节点,硬件配置如下:
三、基础配置
以下所有操作均在root下进行
1.host配置
1)修改主机名,vim /etc/sysconfig/network,各台主机honstname改名为对应的名称,service network restart重启网卡生效。
2)添加hostname与ip的对应关系如下图所示:
3)将host从主节点master分发到各个从节点。:
scp /etc/hosts root@slave1:/etc
2.关闭防火墙和selinux
1&