大数据程序员新手一枚,最近做一个自动化部署的功能,部署的的是hdfs,hbase等大数据生态圈的组件,因为项目的集群上做测试的话容易破坏现有的环境,借着服务器的空闲自己弄了一套简单的Hadoop环境,踩了几个坑,特记录一下。
第一部分:准备搭建hdfs的虚拟机并且配置相应的环境。
第二部分:解压安装文件,修改配置文件,分发到各个主机节点上。
第三部分:启动hadoop集群环境,并检测是启动成功。
详细:
一,准备服务器,这个可以通过安装vmware的VMware Workstation Pro工具使用linux的镜像文件即可,这次是公司环境上有使用比较少的服务器,就直接拿来用了。这里用了三台服务器master,slave1,slave2.
1)第一个当然是安装JDK了,这里可以使用rpm安装,也可以直接下载源码文件解压安装
JDK:https://pan.baidu.com/s/1XFuU99-zj0nFPCWbyechxw 提取码:2i1m
配置hostname并将host的映射写入/etc/hosts的文件中
hostname的配置需要修改文件 /etc/sysconfig/network 通过vi 命令直接修改或者通过ftp工具下载修改再上传
内容修改如下:
NETWORKING=yes