10 搭建Hadoop单机环境并进行测试

进行在刚刚进行jdk安装的服务器master上进行hadoop安装和配置。我们选择的hadoop版本为3.1.4。

    1.将hadoop-3.1.4上传到/opt/software目录下

2.将其解压到 /otp/module目录下

   命令： tar -zxvf  Hadoop-3.1.4.tar.gz   -C  /opt/module

可以进入/opt/module下查看解压包

输入命令： cd /opt/module

输入命令 ： ls -l  

3.进行环境变量配置

输入命令： sudo  vim  /etc/profile.d/my_ens.sh

#HADOOP
export HADOOP_HOME=/opt/module/hadoop-3.1.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
 

保存后输入命令：source /etc/profile   更新配置文件

输入命令： hadoop version  显示版本信息说明hadoop环境变量配置成功。

4.查看hadoop目录

输入命令： cd  /opt/module/hadoop-3.1.4

通过ls -l查看此目录下的文件

5.测试单机环境

  5.1 编写单词文件

进⼊hadoop3.1.4⽬录下，创建⼀个⽬录input,进⼊input⽬录下，编辑⼀个⽂档，在⽂档中编写⼀些单词。

5.2 查看文档数据

5.3 统计单词出现次数

执⾏wordcount案例统计该⽂档中单词出现的次数
输入命令： hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar  wordcount  input/word.txt  output

注意：找到jar文件使用相对路径  光标要定位到 Hadoop-3.1.4

(注意：自己在测试时，如果复制当前执行命令有可能执行不成功，建议按照命令自己输入)

以上表示MapReduce执行完成。

5.4 查看最终结果

以上操作完成单机环境配置及测试。