关闭

hadoop的第一个程序wordcount实现

357人阅读 评论(0) 收藏 举报
分类:

具体安装步骤请见博客:linux hadoop 2.7 伪分布式安装简单几步实现

1. 在本地新建一个文件,笔者在~/hadoop-2.7.1/local_data文件夹新建了一个文本文件hello.txt,local_data文件夹也是新建的。文件内容是:

he wo shi he jing
shao wo shi shao jie
ni ni shi lu lu

2. 在hdfs文件系统中,新建一个文件夹,用于上传本地的hello.txt,在hadoop2.7.1目录下输入命令:

在hdfs根目录下建立一个test目录:bin/hdfs dfs -mkdir /test    

查看hdfs根目录下的目录结构:bin/hdfs dfs -ls /

3. 将本地的hello.txt文档上传到test目录里

上传本地文件:bin/hdfs dfs -put /home/couragek/hadoop-2.7.1/local_data/hello.txt /test/

查看此时目录:bin/hdfs dfs -ls /test/

4. 运行word count程序

使用命令:bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /test/hello.txt /test/out

在/test目录下生成名为out的文件:bin/hdfs dfs -ls /test 

结果是在test目录下生成了一个名为out的文件目录

输入命令查看out目录下的文件:bin/hdfs dfs -ls /test/out


查看运行结果:


5. 参考文献

http://www.tuicool.com/articles/bmeUneM

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:80531次
    • 积分:1771
    • 等级:
    • 排名:千里之外
    • 原创:87篇
    • 转载:64篇
    • 译文:0篇
    • 评论:3条
    最新评论