Hadoop2.7.3、spark2.2.2集群搭建

Hadoop2.7.3已经是很老的版本，也是刚学习Hadoop的时候接触到的第一个版本。这里简单记录一下部署方法，以操作手册的方式，不求对参数的绝对理解，只要顺着步骤来，就能完成搭建。
以下为部署步骤，以VMware创建虚拟机的方式做四节点集群部署的记录。

一、前期准备
二、压缩包下载、上传、解压
三、配置文件修改
四、文件分发
五、启动、webUI、关闭
六、写在最后

一、前期准备

VMware创建四台centos虚拟机、配置好网络、保证每个虚拟机都能联网。

如有疑问，可留言，出一版介绍VMware创建虚拟机、配置网络的文章（面向小白，一起学习）

其中一台虚拟机做主节点（Mater），其他三台做子节点（Slave），为计算节点。

以Master为主做好 时间同步 及 免密登录,修改主机名。

已安装JDK1.8

使用Xshell及Xftp。（当然也可以用别的）

vim编辑器，若没有，以下所有vim 都改为vi

二、压缩包下载、上传、解压

1、Hadoop2.7.3

http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz

2、spark2.2.2

http://archive.apache.org/dist/spark/spark-2.2.2/spark-2.2.2-bin-hadoop2.7.tgz

3、将压缩包上传至Master节点

4、解压至本地

tar -zxf hadoop-2.7.3.tar.gz -C /usr/local/
tar -zxf spark-2.2.2-bin-hadoop2.7.tgz -C /usr/local/

现在你就能看到解压出来的程序包了。

三、配置文件修改

Hadoop的配置文件放在/usr/local/hadoop-2.6.5/etc/hadoop下

cd /usr/local/hadoop-2.6.5/etc/hadoop

vim core-site.xml

#添加以下内容
<configuration>
<property>
<name>fs.defaultFS</name>
  <value>hdfs://master:8020</value>
  </property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/var/log/hadoop/tmp</value>
</property>
</configuration>

vim hadoop-env.sh

#在第25行修改为JDK安装位置
export JAVA_HOME=/usr/local/java/jdk