Linroid的博客

Talk is cheap,show me the code.

Hadoop入门-自带实例 wordcount

前篇Ubuntu16.0.4 伪分布式配置 Hadoop 2.6.5完成以后,我们可以进一步熟悉Hadoop,最方便和快捷的姿势是直接使用Hadoop自带实例,统计词频.

启动Hadoop

首先需要启动Hadoop,在终端输入

start-all.sh

HDFS操作

HDFS操作基本上和shell脚本一脉相承,命令行形如

此处输入图片的描述

hdfs dfs -ls #查看目录
hdfs dfs -mkdir /input #在根目录下新建input目录

只需要在常规的shell脚本前加上hdfs dfs - 即可

统计词频

此处输入图片的描述

hdfs dfs -put LICENSE.txt /input #将文件LICENSE.txt放入HDFS文件系统根目录下面的input目录下
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /input /output
#调用example.jar文件中的wordcount 输入文件在input目录,输出结果在output目录

此处输入图片的描述

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Linux1s1s/article/details/79956835
文章标签: Hadoop wordcount
个人分类: Big-Data
想对作者说点什么? 我来说一句

ubuntu运行hadoop的wordcount

2012年09月22日 543B 下载

没有更多推荐了,返回首页

不良信息举报

Hadoop入门-自带实例 wordcount

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭