Centos7安装配置Hadoop3.0.0集群

本文主要介绍如何在Centos7系统安装和配置Hadoop3.0.0集群，并运用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）执行wordcount测试样例。

资源和环境

jdk：jdk-8u11-linux-x64.rpm

hadoop：hadoop-3.0.0.tar.gz

操作系统：CentOS-7-x86_64

系统用户：root

由于是集群环境，所以我搭建了三台centos7的虚拟机，分别取名master，slave1，slave2，配置如下：

注：如果机器名不是master，可以使用命令hostnamectl set-hostname master 修改机器名，重启机器，slave1和slave2同理

安装jdk

在三台虚拟机上分别安装jdk，执行以下操作

[root@localhost zby]# rpm -ivh jdk-8u11-linux-x64.rpm

运行javac，出现如下画面表示安装成功

[root@master zby]# javac
Usage: javac <options> <source files>
where possible options include:
  -g                         Generate all debugging info
  -g:none                    Generate no debugging info
  -g:{lines,vars,source}     Generate only some debugging info
  -nowarn                    Generate no warnings
  -verbose                   Output messages about what the compiler is doing

此时jdk安装在/usr/java/jdk1.8.0_11下

设置环境变量，打开.bash_profile

[root@master java]# cd 
[root@master ~]# vim .bash_profile

增加如下内容

export JAVA_HOME=/usr/java/jdk1.8.0_11
export PATH=$JAVA_HOME/bin:$PATH

执行source .bash_profile使配置生效

安装jps

在三台虚拟机上分别安装jps

执行jps命令提示bash: jps: command not found...，可通过以下方式解决