05.HADOOP CDH5.16.1 详细搭建流程

CDH 相对于原生的HADOOP 平台具有更好的可操作性，通过页面就行控制，方便安装和管理，还可以对整个集群进行参数的调整等等。

在此也要感谢 马尔东风 https://blog.csdn.net/qq_39572733/article/details/89469741 给到的帮助。

在这里我使用了  CDH5.16.1 版本 ，那么与其对应的 软件包也需要相应下载。

1.安装前的准备工作

1）需要用的软件包

     CDH 是不需要提前下载各种 Hadoop, Hive, Hue, Sqoop 等。只需要下载CDH 相关的包。

     需要用到以下包：

•       JAVA ：jdk-8u211-linux-x64.tar.gz 

                  

•    Mysql 连接 JAVA的 驱动：mysql-connector-java.jar

              

• CDH5.16.1 的配置文件：

       1. cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz

       2. CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel ， CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha ，manifest.json

          如果下载的是  .sha1 结尾的文件，记得改为 .sha 

           

 

2) 节点的配置：

    一共3个节点，node01 、node02 、node03

   CDH 分为 Server 和 Agent ， Server 就相当于管理员，而 Agent 就相当于工作人员。

   类似于 Namenode 和 Datanode 的关系。

   配置： node01： Server 、 Agent；

               node02： Agent；

               node03： Agent；

   

2. 节点的基础配置

之前的 Haoop 全分布式搭建步骤 中有基础配置的一部分说明，这里就讲一下简单的步骤

以下步骤在所有节点上都必须完成，下面只以一个节点为例。

1.修改服务器的名字：hostnamectl set-hostname node01   ，修改完之后需要重启，输入 reboot

2.网络设置：

    1) 设置 IP 地址： vi  /etc/sysconfig/network-scripts/ifcfg-ens33  ，

     ifcfg-ens33 可能名称不一样，基本是 network-scripts 中的第一个文件

       

    2）修改网络名称： vi  /etc/sysconfig/network  , 写入 NETWORK=yes , HOSTNAME= node01