hadoop运行wordcount

2019独角兽企业重金招聘Python工程师标准>>>

hadoop版本为2.7.2

部署请参考：https://my.oschina.net/u/3052784/blog/790004

准备工作需要如下： 1.hadoop环境
2.example.jar
3.指定输入输出目录

（一）example.jar位置

hadoop-mapreduce-examples-2.7.2.jar 路径在hadoop安装目录下

ls -l share/hadoop/mapreduce/

（二）输入输出路径，上传什么文件

1.HDFS创建数据目录

创建输入文件位置：hadoop fs -mkdir -p /data/wordcount 创建输出文件位置：hadoop fs -mkdir -p /output/ 查看当前文件列表：hadoop fs -ls /

2.添加输入文件

这里构建好文本inputword 将文件上传到HDFS当中并查看
hadoop fs -put ~/inputWord /data/wordcount/ hadoop fs -ls /data/wordcount

（三）运行wordcount

通过运行jar 并传递执行参数运行wordcount
hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /data/wordcount /output/wordcount

查看结果，执行如下命令，与输入文件吻合
hadoop fs -text /output/wordcount/part-r-00000

HDFS命令参考:http://www.cnblogs.com/xd502djj/p/3625799.html 参考:http://www.aboutyun.com/blog-61-148.html

转载于:https://my.oschina.net/u/3052784/blog/790008