Mac OS 系统中使用hadoop-3.1.2运行自带wordcount实例

Hoadoop 虚拟机环境搭建 vm 11.2   、liunx 版本 centos 7、jdk 版本1.8 、操作系统 mac 

 1、首先，启动hadoop：进入hadoop安装目录：/opt/rh/hadoop-3.1.2

  启动：/opt/rh/hadoop-3.1.2/sbin/start-all.sh 

 启动之后 ，查看是否成功，如下图所示：

2、进入HDFS系统，HDFS是hadoop的原生文件系统。接下来，我们在HDFS中创建一个input目录，需要使用HDFS命令方式。

现在 创建这个目录：

（1）、hadoop fs -mkdir /input #创建目录

（2）、hadoop fs -ls / #查询hadoop下面的所有目录，如下图所示：

（3）、切换到hadoop安装目录下：/opt/rh/hadoop-3.1.2，将这几个.txt后缀的文件上传到hadoop中，我们这里暂时上传一个txt文件。

上传文件命令：hadoop fs -put LICENSE.txt /input ，完成之后查看命令： hadoop fs -ls /input 如图所示：

3、接下来只需要将/input通过hadoop自带示例程序wordcount计算出统计其中各字母出现的次数。命令如下：

hadoop jar /opt/rh/hadoop-3.1.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar   wordcount /input /output

执行后如下图所示说明成功 ，所示：

然后 ，可以通过命令$hadoop fs -ls /看出，HDFS系统下多了个/output 和/tmp目录。打开/output目录可以看到下面有两个文件（_SUCCESS和part-r-00000），说明已经运行成功了，直接打开part-r-00000便可以查看结果，命令$hadoop fs -cat /output/part-r-00000，结果如图：

5、以上就是hadoop的第一个示例程序，对hadoop文件系统HDFS和hadoop的shell命令有所了解。