Hadoop安装和测试

一，下载

地址：Index of /dist/hadoop/common 

选择3.3.6版本（最新版本之前的一个版本，一般比较稳定）

二，解压

解压到/data/module目录，这里随便自定义就好。

tar -zxvf hadoop-3.3.6.tar.gz -C /data/module/

- bin 目录：存放对 Hadoop 相关服务（hdfs，yarn，mapred）进行操作的脚本
- etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件
- lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）
- sbin 目录：存放启动或停止 Hadoop 相关服务的脚本
- share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例

三，配置环境变量

vim /etc/profile.d/hadoop_env.sh

在hadoop_env.sh文件末尾添加如下内容：

 #HADOOP_HOME
 export HADOOP_HOME=/data/module/hadoop-3.3.6
 export PATH=$PATH:$HADOOP_HOME/bin
 export PATH=$PATH:$HADOOP_HOME/sbin

保存退出，然后source一下，重新加载一下系统环境变量配置

source /etc/profile

注意：如果没有配置JAVA_HOME的话，也需要配置一下

下面是找到系统jdk安装的步骤

whereis java找系统已经安装的java

进到/usr/bin 使用ll命令，找到java命令真实的引用

进到/etc/alternatives目录，再次ll找到真实引用

找到java真实安装路径后，配置到系统环境变量文件中

vi /etc/profile

保存退出，记得也需要source一下/etc/profile,使系统重新加载一下配置文件

source /etc/profile

测试一下hadoop是否安装成功

hadoop version

有如下图的输出，就是安装成功了

四，测试官方文档案例

WordCount是一个统计文件内单词数量的程序。可以理解为MapReduce的helloword。

1，在/data目录创建test目录放测试文件和输出文件

2， 进到test目录，vi word.txt, 输入

hello word
peace
love
hello shenzhen
world peace
love shenzhen
love china

3， 执行测试程序

hadoop命令结构：

hadoop jar  Jar包的路径  Jar包的主类 传递给主类的参数地址  由主类执行后输出的结果地址

hadoop jar /data/module/hadoop-3.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /data/test/word.txt wcoutput

有如下图的输出，表示运行成功了

4，查看运行结果

记得点赞关注哟！