说明
CDH,全称Cloudera's Distribution, including Apache Hadoop
。是Hadoop众多分支中对应中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,提供了Hadoop的核心(可扩展存储、分布式计算),最为重要的是提供基于web的用户界面。
CDH的优点:版本划分清晰,更新速度快,支持Kerberos
安全认证,支持多种安装方式(如Yum、rpm等)。
CDH分为Cloudera Manager
管理平台和CDH parcel
(parcel包含各种组件的安装包)。这里采用CDH6.3.0。
下载地址:https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/
安装包地址:https://archive.cloudera.com/cdh6/6.3.0/parcels/
准备虚拟机
集群规划
名称 | 安装内容 | 配置 | ip地址 |
---|---|---|---|
DEV-MATCH-01 | JDK8、CM6、数据库、接口服务、前端 | 8核/16G/250G | 172.16.21.30 |
DEV-MATCH-02 | JDK8、HADOOP3、HBASE2、ZOOKEEPER … | 8核/8G/150G | 172.16.21.31 |
DEV-MATCH-03 | JDK8、HADOOP3、HBASE2、ZOOKEEPER … | 8核/8G/150G | 172.16.21.32 |
DEV-MATCH-04 | JDK8、HADOOP3、HBASE2、ZOOKEEPER … | 8核/8G/150G | 172.16.21.33 |
每个节点需要:
- 关闭防火墙,防火墙禁止开机自启
- 通过主机名可以互相访问,添加hosts文件内容,ssh互相访问
- 配置时区,NTP统一
- 配置yum源为阿里源
- 安装cdh的JDK
- 能联网,不能联网的要配置局域网yum因为要下载很多环境
在节点1上传文件后开始安装
# 安装daemons
[root@dev-match-01 software]$ rpm -ivh cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpm
# 安装agent
[root@dev-match-01 software]$ rpm -ivh cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpm
warning: cloudera-manager-agent-6.3.0-1281944.e