在Hadoop下运行MapReduce任务
在分布式计算课上老师要求在windows10上安装hadoop并运行wordcount任务,以下是运行的步骤及遇到的问题。
步骤:
注意:以下操作必须以管理员身份执行。(变量HADOOP_HOME作为系统变量设置正确。)
- 进入“C:\Hadoop\sbin”目录运行命令“start-all”。如果一切正常,将会启动一个“hdfs namenode”进程、一个“hdfs datanode”进程、一个“yarn resourcemanager”进程,一个“yarn nodemanager”进程。
- 打开浏览器,输入URL:“http://localhost:8088/”,可以看到MapReduce框架的资源调度管理中心节点软件resourcemanager提供的Web监控页面。通过该页面可以查看现在正在运行的MapReduce任务的运行状态,可以查看成功或失败了的MapReduce任务信息。
- 用“hadoop fs –mkdir /input”命令在HDFS中创建“/input”子目录。
- 用“hadoop fs –put E:\source\input_file.txt /input”命令把本地文件系统中的“c:\source\input_file.txt”文件上传到HDFS的“/input”子目录。input_file.txt文件将作为WordCount MapReduce任务的输入文件。
input_file.txt文件内容如下:
aaa
bbb
aaa
bbb
ccc
ddd
ccc
aaa
bbb
bbb - 用命令“yarn jar E:\source\mrtest.jar WordCount /input /output”命令启动MapReduce任务。任务执行成功后到“/output”目录下查找执行结果文件。
- 用命令“hadoop fs –cat /output/part-r-00000”查看WordCount任务的执行结果。
问题:在执行第五步时,出现如下错误