【Hadoop集群搭建】JDK安装及配置、Hadoop本地模式部署及测试

1. 安装 SSH 工具

SSH Secure Shell Client 传输软件

FinalShell(推荐使用)

1.1使用SSH工具将JDK安装包上传至虚拟主机hadoop01, hadoop02, hadoop03，sogou500w 数据上传至 hadoop01。

a. 在虚拟主机/usr 目录下创建文件夹 java，JDK 上传至此目录（创建文件夹可能需要 root 角色）

mkdir java

b. 在虚拟主机创建文件夹 sogou, sogou500w 数据上传至此目录。

        复制以后请使用 Linux 命令查看一下该文件的前 10 行和后 10 行数据。

mkdir sogou

2. 安装 JDK 并且配置环境变量。

（注意 JDK 需要在三台客户虚拟机上分别独立完整安装配置，为分布式 Hadoop 集群安装部署做准备。）

        直接解压缩 JDK 安装包，如下所示，所在目录为/usr/java 目录下。安装时

        注意：文件夹权限，如果权限不足，需要使用 chmod 命令修改。

2.1 修改文件夹权限为可读可写可执行权限

chomd -R 777 java

2.2 把window主机的jdk拖拽到/usr/java目录下

2.3 解压缩JDK安装包

sudo tar -zxvf /usr/java/jdk-8u212-linux-x64.tar.gz -C /usr/java/

2.4 配置环境变量

        添加 JAVA_HOME 变量并赋值;

        编辑 PATH 变量，添加 JAVA 的 bin 目录，如下图所示内容。

export JAVA_HOME=/usr/java/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

        使环境变量生效。

        验证安装配置成功。

java -version

3. 将 JDK 远程拷贝至虚拟主机 hadoop101,hadoop102并解压缩

环境变量配置后续用xsync集群分发脚本复制粘贴即可。

3.1  将JDK拷贝给虚拟机hadoop101

        解压缩

3.2 将JDK拷贝给虚拟机hadoop102

        解压缩

4. Hadoop 本地模式部署

4.1 下载 hadoop 安装包并上传至虚拟机文件目录

        我下载的版本是3.1.3。 

        在主机 hadoop100 解压缩 hadoop 压缩包，命令如下所示：

获取hadoop安装路径

4.2 配置hadoop环境变量

export HADOOP_HOME= 

export PATH=$:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

4.3 使环境变量生效

source .bash_profile

        执行以下命令验证 hadoop 安装配置成功。 

​​​​​​​hadoop version

        将hadoop从hadoop100拷贝到hadoop101

        将hadoop从hadoop100拷贝到hadoop102

        在/home/2130502441ryx/下创建以下数据目录：

        在此目录下编辑数据文件 wc.input

        在文件内输入以下内容：

        在/home/2130502441ryx/data 下创建文件夹 input，并将/home/gdpu/hadoop-2.8.1/etc/hadoop 目录里下的 xml 文件拷贝至 input 目录下。

5. Hadoop 自带程序测试（StandAlone 模式下）

5.1 grep 官方案例，此案例的功能是将文件中符合规则的内容输出。

        在 data 目录下运行以下 hadoop 命令，命令如下：

hadoop jar /home/2130502441ryx/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input ouput 'dfs[a-z.]+'

        查看输出到本地的 output 目录下的结果文件：符合正则表达式 ‘dfs[az.]+’的内容输出到 part-r-00000 结果文件中，另外还有一个文件_SUCCESS 文件，说明 Job 运行成功。

        请将 part-r-00000 结果文件中的内容截图并记录在下面： ​​​​​​​

可以看到符合正则表达式 ‘dfs[az.]+’只有一行。

前面output文件名打错了，修改如下：

        思考题：将 wc.input 文件移动到 input 目录下，现如今要将 input 文件夹下所有文件内容中包含 ‘dfs’的内容提取，并将结果输出到结果目录 output中，请写出相应的 hadoop 执行命令在以下的方框内。并打印输出结果 part-r-00000 文件的内容。

① 将 wc.input 文件移动到 input 目录下 （mv wc.input /home/2130502441ryx/data/input/）   ② 查看是否成功  ③ 将符合要求的结果输出到output2中  ④ 打印输出结果 可以看到有四行包含dfs，前面没有加入wc.input的时候只有一行，加上wc.input里面的三个刚好是4。

5.2 WordCount 官方案例

        运行以下命令，实现对文件内容的单词计数

 

hadoop jar /home/2130502441ryx/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar  wordcount input/wc.input output3

        查看执行结果文件的内容 part-r-00000，输出到以下方框内。

① 运行命令  ② 查看part-r-00000的输出内容