安装Hadoop并运行WordCount程序

（一）asdfghjklx在虚拟机上安装java

来，我们先给虚拟机上安装javaJDK。注意，后面我们会按照如下步骤来操作有：

1. 把javaJDK文件上传到服务器上。

2. 解压文件。

3. 配置环境变量。

来，分别操作如下：

1. 上传文件到虚拟机。用FinalShell传输工具将JDK导入到opt目录下面的software文件夹下面(opt/software文件夹是我们自己创建的)

2. 解压文件。把刚才创建的文件解压出来。

（1）检查软件包是否上传成功

在解压之前，看看上传是否成功了。使用cd命令进入到opt/software目录，再使用ls命令，查看是否已经上传成功。

看到如下结果：jdk-8u212-linux-x64.tar.gz

（2）解压JDK到/opt/module目录

确认上传成功之后，在software目录下，运行如下命令

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

3. 配置JDK环境变量

（1）新建/etc/profile.d/my_env.sh文件

使用的命令是： vi /etc/profile.d/my_env.sh

在打开的文件中输入如下内容

#JAVA_HOME #是注释

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH=$PATH:$JAVA_HOME/bin

其中：export是把一个变量导出为环境变量

$PATH:$JAVA_HOME/bin 是将 $JAVA_HOME/bin 目录添加到 PATH 环境变量中，这样在终端中就可以直接执行 $JAVA_HOME/bin 目录下的 Java 相关命令，而无需输入完整的文件路径。：wq

（2）保存后退出。按下:wq回车。

（3）source一下/etc/profile文件，让新的环境变量PATH生效

source /etc/profile

4. 测试JDK是否安装成功

在任意目录下，运行 java -version，如果能看到以下结果，则代表Java安装成功。

java version "1.8.0_212"

如果不生效，就重新启动一下系统， 然后再试一次。

（二）在虚拟机上安装Hadoop

前面已经成功安装了javaJDK，接下来安装hadoop。基本步骤与安装java一致：先用finalshell将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面，然后解压,最后配置环境变量。

1. 使用finalshell上传。这里直接鼠标拖动操作即可。

2. 解压。进入到Hadoop安装包路径下，cd /opt/software/ ，再解压安装文件到/opt/module下，对应的命令是：

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

这个命令的功能与解压java类似，这里不再重复解释了。

5）将Hadoop添加到环境变量

请注意，我们已经将hadoop解压到了/opt/module/hadoop-3.1.3目录下。打开/etc/profile.d/my_env.sh文件，并在my_env.sh文件末尾添加如下内容：

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出，按下:wq并回车

（3）让修改后的文件生效

使用source命令让配置文件生效。

source /etc/profile

6）测试是否安装成功

使用hadoop version检查hadoop是否安装成功。

如果看到： Hadoop 3.1.3 表示成功。

（三）运行官方WordCount程序

在安装hadoop时，它自带了很多的示例代码，其中有一个是用来统计词频的程序，下面我们来看一下如何去运行这个示例代码。

（1）在hadoop-3.1.3文件下面创建一个wcinput文件夹

（2）在wcinput文件下创建一个word1.txt和一个word2.txt文件

分别编辑word1.txt文件和word2.txt文件内容

hadoop yarn

hadoop mapreduce

root

root

（3）执行程序。回到Hadoop目录下，/opt/module/hadoop-3.1.3，运行命令：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

（4）查看结果

使用cat命令去查看wcoutput下的运行结果。