Hadoop分布式集群搭建过程和踩过的坑

大数据程序员新手一枚，最近做一个自动化部署的功能，部署的的是hdfs，hbase等大数据生态圈的组件，因为项目的集群上做测试的话容易破坏现有的环境，借着服务器的空闲自己弄了一套简单的Hadoop环境，踩了几个坑，特记录一下。

第一部分：准备搭建hdfs的虚拟机并且配置相应的环境。

第二部分：解压安装文件，修改配置文件，分发到各个主机节点上。

第三部分：启动hadoop集群环境，并检测是启动成功。

详细：

一，准备服务器，这个可以通过安装vmware的VMware Workstation Pro工具使用linux的镜像文件即可，这次是公司环境上有使用比较少的服务器，就直接拿来用了。这里用了三台服务器master,slave1,slave2.

   1）第一个当然是安装JDK了，这里可以使用rpm安装，也可以直接下载源码文件解压安装

              JDK：https://pan.baidu.com/s/1XFuU99-zj0nFPCWbyechxw    提取码：2i1m

               配置hostname并将host的映射写入/etc/hosts的文件中

                hostname的配置需要修改文件  /etc/sysconfig/network  通过vi 命令直接修改或者通过ftp工具下载修改再上传

                 内容修改如下：

                  NETWORKING=yes