关于CDH和Cloudera Manager
CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。
系统环境
- 实验环境:Mac下VMware虚拟机
- 操作系统:CentOS 6.5 x64 (至少内存2G以上,这里内存不够的同学建议还是整几台真机配置比较好,将CDH的所有组件全部安装会占用很多内存,我已开始设置的虚拟机内存是1G,安装过程中直接卡死了)
- Cloudera Manager:5.12.1
- CDH: 5.12.1
安装说明
官方参考文档:
https://www.cloudera.com/documentation/enterprise/latest/topics/installation.html
官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于最近各种国外的网站被墙的厉害,我尝试了几次各种超时错误,巨耽误时间不说,一旦失败,重装非常痛苦。第二种方法下载很多包。第三种方法对系统侵入性最小,最大优点可实现全离线安装,而且重装什么的都非常方便。后期的集群统一包升级也非常好。这也是我之所以选择离线安装的原因。
相关包的下载地址
Cloudera Manager下载地址:
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz
下载信息:
https://www.cloudera.com/downloads/manager/5-12-1.html
CDH安装包地址:http://archive.cloudera.com/cdh5/parcels/latest/,由于我们的操作系统为CentOS6.5,需要下载以下文件:
- CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
- CDH-5.12.1-1.cdh5.12.1.p0.3-el6.pacel.sha1
- manifest.json
注意:与CDH4的不同,原来安装CDH4的时候还需要下载IMPALA、Cloudera Search(SOLR),CDH5中将他们包含在一起了,所以只需要下载一个CDH5的包就可以了。
准备工作:系统环境搭建
以下操作均用root用户操作。
1. 网络配置(所有节点)
vi /etc/sysconfig/network
修改hostname:
NETWORKING=yes
HOSTNAME=n1
通过service network restart
重启网络服务生效。
vi /etc/hosts
,修改ip与主机名的对应关系
192.168.1.200 n1
192.168.1.201 n2
192.168.1.202 n3
注意:这里需要将每台机器的ip及主机名对应关系都写进去,本机的也要写进去,否则启动Agent的时候会提示hostname解析错误。
2.打通SSH,设置ssh无密码登陆(所有节点)
在主节点上执行ssh-keygen -t rsa
一路回车,生成无密码的密钥对。
将公钥添加到认证文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
,并设置authorized_keys的访问权限:chmod 600 ~/.ssh/authorized_keys
。
scp文件到所有datenode节点: