手把手教你离线搭建CDH6.2

基于自建 parcels 的方式进行CDH6.2的大数据集群搭建，手把手教你安装，亲测可用，从基础的系统环境搭建、参数优化、硬件划分原则到后期的使用维护及日常运维，应有尽有，是我工作中的实战，后续还会不断维护，请参照下面的步骤实现，非常nice！！！

---

一、概述

CDH，全称Cloudera’s Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存储、分布式计算），最为重要的是提供基于web的用户界面。
CDH的优点：版本划分清晰，更新速度快，支持Kerberos安全认证，支持多种安装方式（如Yum、rpm等）。
CDH分为Cloudera Manager管理平台和CDH parcel（parcel包含各种组件的安装包）。这里采用CDH6.2.0。
Cloudera Manger下载地址为【已失效】https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/
文件清单如下：

CDH6.2.0安装包地址为【需要账号】
https://archive.cloudera.com/cdh6/6.2.0/parcels/
由于操作系统为CentOS7，需要下载以下文件：

由于目前 cloudera 从 CDH6.0 开始收费，因此官网下载需要注册账号，为了方便可以用我已经下载好的
上述文件整理资料百度云下载地址为：
链接：https://pan.baidu.com/s/1bJ1Wbh2qxw_5yP4cUeyPrg
提取码：rywu
遇到任何安装问题i请评论区提问

二、安装步骤

说明：以下操作都是在root用户下进行的

2.1 环境准备

2.1.1. 准备虚拟机

根据自己的系统资源分配虚拟机资源

操作系统	CPU	内存	硬盘	主机名	IP地址	角色
Centos7（64位）	32vCpu	128GiB	1TB SSD	kf1-32-hdp	192.168.1.32	管理+数据+计算
Centos7（64位）	32vCpu	128GiB	1TB SSD	kf1-33-hdp	192.168.1.33	数据+计算
Centos7（64位）	32vCpu	128GiB	1TB SSD	kf1-34-hdp	192.168.1.34	数据+计算

注意：硬件服务器建议使用虚拟化部署，集群规模、硬件、服务角色配置必须按照业务的实际情况进行

2.2 基础服务安装

建议：通用的配置完成后建议创建系统镜像，创建其他机器时直接基于该镜像创建，减少配置时间

2.2.1. 配置网络

所有的服务器节点都要进行配置

## 1.设置固定IP
vim /etc/sysconfig/network-scripts/ifcfg-ens192

TYPE="Ethernet"   # 网络类型为以太网
BOOTPROTO="static"  # 手动分配ip
NAME="ens33"  # 网卡设备名，设备名一定要跟文件名一致
DEVICE="ens33"  # 网卡设备名，设备名一定要跟文件名一致
ONBOOT="yes"  # 该网卡是否随网络服务启动
IPADDR="192.168.1.101"  # 该网卡ip地址就是你要配置的固定IP，如果你要用xshell等工具连接，220这个网段最好和你自己的电脑网段一致，否则有可能用xshell连接失败GATEWAY="192.168.1.2"   # 网关
NETMASK="255.255.255.0"   # 子网掩码
DNS1="114.114.144.144"    # DNS，8.8.8.8为Google提供的免费DNS服务器的IP地址

## 2.重启网络生效
service network restart

## 3.配置网络工作
vi /etc/sysconfig/network
# 修改
NETWORKING=yes # 网络是否工作，此处一定不能为no

## 4.配置公共DNS服务(可选)
vi /etc/resolv.conf
# 增加如下配置
nameserver 114.114.114.114 或 8.8.8.8

## 5.设置唯一主机名
hostnamectl set-hostname new-hostname

2.2.3. 修改hosts

所有的服务器节点都要进行配置

vi /etc/hosts
192.168.1.132 kf1-32-hdp
192.168.1.133 kf1-33-hdp
192.168.1.132 kf1-34-hdp

2.2.4. 防火墙配置

所有的服务器节点都要进行配置

## 关闭防火墙
systemctl stop firewalld
## 禁止防火墙开机自启
systemctl disable firewalld
vi /etc/selinux/config # SELINUX=disabled (修改)

2.2.5. 免密登录

## 各个节点执行
ssh-keygen -t rsa # 一路回车到结束，在/root/.ssh/下面会生成一个公钥文件id_rsa.pub

## 主节点执行
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #将公钥追加到 authorized_keys
chmod 600 ~/.ssh/authorized_keys #修改权限

## 将~/.ssh从主节点分发到其他各个节点。比如：
scp ~/.ssh/authorized_keys root@kf1-33-hdp:/root/.ssh
## kf1-33-hdp 执行
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #将公钥追加到authorized_keys

## 各个节点依次执行，直到最后节点时authorized_keys文件已包含所有节点的授权信息，然后将该文件scp分发到各个节点
## 测试每个节点之间是否可以实现ssh免密登录

2.2.6. 配置时钟服务