学习CDH集群环境的搭建（虚拟机可演示）

说明：如果使用虚拟机进行演示的话，建议电脑是16运行内存，安装三个Linux系统，第一个系统内存建议大一些,不少于3G运行内存，其余2G即可。

一、系统环境

操作系统：CentOS 7.4  x64(内存32G)

Cloudera Manager:  5.14.2

CDH:   5.14.2

二、安装说明

采用离线安装。

1.安装包的下载地址

CM包下载地址： http://archive.cloudera.com/cm5/cm/5/cloudera‐manager‐centos7‐cm5.14.2_x86_64.tar.gz

CDH安装包地址：

http://archive.cloudera.com/cdh5/parcels/5.14.2/

由于我们的操作系统是CentOS 7.4 需要下载下载文件：

CDH-5.14.2-1.cdh5.14.2.p0.3-e17.parcel

CDH-5.14.2-1.cdh5.14.2.p0.3-e17.parcel.sha

manifest.json

三、准备工作：系统环境搭建

1.网络配置（所有节点）

1.1配置阿里云yum源。

 1.11、打开centos的yum文件夹

        

cd /etc/yum.repos.d/

 1.12、备份系统原来的repo文件

 

mkdir bak    #创建一个备份文件夹
mv ./*.repo  ./bak    #把目前的配置文件放入备份文件内

如果wget命令不生效，说明还没有安装wget工具，需要安装wget。

yum -y install wget

 1.13下载阿里云的repo文件

wget http://mirrors.aliyun.com/repo/Centos‐7.repo

  1.14执行yum源更新命令

yum clean all

yum makecache

yum update

1.2修改hostname

     在5个节点分别执行下列命令，更改用户名：

hostnamectl set‐hostname n1

hostnamectl set‐hostname n2

hostnamectl set‐hostname n3

hostnamectl set‐hostname n4

hostnamectl set‐hostname n5

1.3 修改IP到host的映射

  vi /etc/hosts

# 在hosts文件中添加集群主机信息

172.16.253.201  n1      nn1

172.16.253.202  n2      snn1    dn1

172.16.253.203  n3      dn2     datax1

172.16.253.204  n4      dn3

172.16.253.205  n5      dn4

2.设置ssh的无密码登陆

2.1六台机器分别执行生成公钥，并全部发送集中到n1

ssh‐keygen ‐t rsa        #六台机器分别执行： 一路回车到完成

ssh‐copy‐id ‐i ~/.ssh/id_rsa.pub root@n0 #六台机器分别执行：将公钥拷贝到本机的authorized_keys上

2.2将n0集中的所有机器的公钥发送到其他5台机器上

# 在master节点依次执行下列命令

scp ~/.