hadoop的第一个程序wordcount实现

原创 2015年11月21日 13:57:23

具体安装步骤请见博客:linux hadoop 2.7 伪分布式安装简单几步实现

1. 在本地新建一个文件,笔者在~/hadoop-2.7.1/local_data文件夹新建了一个文本文件hello.txt,local_data文件夹也是新建的。文件内容是:

he wo shi he jing
shao wo shi shao jie
ni ni shi lu lu

2. 在hdfs文件系统中,新建一个文件夹,用于上传本地的hello.txt,在hadoop2.7.1目录下输入命令:

在hdfs根目录下建立一个test目录:bin/hdfs dfs -mkdir /test    

查看hdfs根目录下的目录结构:bin/hdfs dfs -ls /

3. 将本地的hello.txt文档上传到test目录里

上传本地文件:bin/hdfs dfs -put /home/couragek/hadoop-2.7.1/local_data/hello.txt /test/

查看此时目录:bin/hdfs dfs -ls /test/

4. 运行word count程序

使用命令:bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /test/hello.txt /test/out

在/test目录下生成名为out的文件:bin/hdfs dfs -ls /test 

结果是在test目录下生成了一个名为out的文件目录

输入命令查看out目录下的文件:bin/hdfs dfs -ls /test/out


查看运行结果:


5. 参考文献

http://www.tuicool.com/articles/bmeUneM

Hadoop大数据平台入门——第一个小程序WordCount

首先我们需要安装Hadoop,并对Hadoop进行配置。这里我们就不赘述了,详情看这篇博客:Hadoop安装配置 值得注意的是,配置的时候,需要给Hadoop权限才能正确执行。最简单的办法就是讲ha...

Hadoop安装配置、运行第一个WordCount示例程序

操作系统ubuntu。本篇目的是在单机模式下运行成功WordCount示例程序。 本篇小结安装步骤,遇到的问题和解决办法。 疑惑点及其思考。 Hadoop是为linux而开发的,...

HADOOP 分布式集群环境下第一个mapReduce程序—WordCount

关于hadoop 分布式集群环境搭建,本人已经在博客中的

Hadoop的第一个程序 wordcount

Hadoop的第一个程序 wordcount package com.songguoliang.hadoop.chapter05; import java.io.IOExceptio...

hadoop的第一个程序WordCount

伪代码分析: 执行步骤:  1. map任务处理 1.1读取输入文件内容,解析成key、value对。对输入文件的每一行,解析成key、value对。每一个键值对调用一次map函数。 ...

Hadoop的单机伪分布式搭建和运行第一个WordCount程序

图片我没有上传,很麻烦scdn 心累 http://download.csdn.net/detail/u014449653/9728513 可以下载文档看相关图片...

Hadoop第一个wordcount程序

我们来运行hadoop-example.jar 里面自带的WordCount 程序,作用是统计单词的个数。 1)在Ubuntu1 的Hadoop 的home 目录下创建一个test.txt 文件,内...

hadoop 第一个程序wordcount执行过程

第一次在hadoop上执行wordcount程序,原来是照着书上一步步来的,发现书上记录的都不是特别明确,仅有主要的命令,对于我这个小白来说,一敲命令就出来错简直太打击学习积极性了。于是把详细过程记录...

第一个hadoop入门程序WordCount

package com.yootk.mr.demo; import java.io.IOException; import org.apache.hadoop.conf.Configuration...

Hadoop学习笔记(1):WordCount程序的实现与总结

Hadoop中的HelloWord--WordCount!!!!!
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop的第一个程序wordcount实现
举报原因:
原因补充:

(最多只允许输入30个字)