Hadoop入门经典:WordCount

最新推荐文章于 2024-04-29 00:30:02 发布
最新推荐文章于 2024-04-29 00:30:02 发布
阅读量246 收藏
点赞数
文章标签： 大数据 开发工具 java
原文链接：http://www.cnblogs.com/jinhong-lu/p/4559386.html
版权


以下程序在hadoop1.2.1上测试成功。

本例先将源代码呈现，然后详细说明执行步骤，最后对源代码及执行过程进行分析。

一、源代码

package org.jediael.hadoopdemo.wordcount;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

public class WordCount {

	public static class WordCountMap extends
			Mapper<LongWritable, Text, Text, IntWritable> {

		private final IntWritable one = new IntWritable(1);
		private Text word = new Text();

		public void map(LongWritable key, Text value, Context context)
				throws IOException, InterruptedException {
			String line = value.toString();
			StringTokenizer token = new StringTokenizer(line);
			while (token.hasMoreTokens()) {
				word.set(token.nextToken());
				context.write(word, one);
			}
		}
	}

	public static class WordCountReduce extends
			Reducer<Text, IntWritable, Text, IntWritable> {

		public void reduce(Text key, Iterable<IntWritable> values,
				Context context) throws IOException, InterruptedException {
			int sum = 0;
			for (IntWritable val : values) {
				sum += val.get();
			}
			context.write(key, new IntWritable(sum));
		}
	}

	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		Job job = new Job(conf);
		job.setJarByClass(WordCount.class);
		job.setJobName("wordcount");

		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);

		job.setMapperClass(WordCountMap.class);
		job.setReducerClass(WordCountReduce.class);

		job.setInputFormatClass(TextInputFormat.class);
		job.setOutputFormatClass(TextOutputFormat.class);

		FileInputFormat.addInputPath(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));

		job.waitForCompletion(true);
	}
}

二、执行程序

1、从eclipse从导出至wordcount.jar，并上传至hadoop服务器，本例中，将程序上传至/home/jediael/project。

2、安装hadoop伪分布模式，可参考Hadoop1.2.1伪分布模式安装指南，本实例将运行在hadoop的伪公布环境中。

3、在HDFS中创建目录wcinput，用作输入目录，并将需要分析的文件复制到目录下。

[root@jediael conf]# hadoop fs -mkdir wcinput
[root@jediael conf]# hadoop fs -copyFromLocal * wcinput 
[root@jediael conf]# hadoop fs -ls wcinput 
Found 26 items 
-rw-r--r-- 1 root supergroup 1524 2014-08-20 12:29 /user/root/wcinput/automaton-urlfilter.txt 
-rw-r--r-- 1 root supergroup 1311 2014-08-20 12:29 /user/root/wcinput/configuration.xsl 
-rw-r--r-- 1 root supergroup 131090 2014-08-20 12:29 /user/root/wcinput/domain-suffixes.xml 
-rw-r--r-- 1 root supergroup 4649 2014-08-20 12:29 /user/root/wcinput/domain-suffixes.xsd 
-rw-r--r-- 1 root supergroup 824 2014-08-20 12:29 /user/root/wcinput/domain-urlfilter.txt 
-rw-r--r-- 1 root supergroup 3368 2014-08-20 12:29 /user/root/wcinput/gora-accumulo-mapping.xml 
-rw-r--r-- 1 root supergroup 3279 2014-08-20 12:29 /user/root/wcinput/gora-cassandra-mapping.xml 
-rw-r--r-- 1 root supergroup 3447 2014-08-20 12:29 /user/root/wcinput/gora-hbase-mapping.xml 
-rw-r--r-- 1 root supergroup 2677 2014-08-20 12:29 /user/root/wcinput/gora-sql-mapping.xml 
-rw-r--r-- 1 root supergroup 2993 2014-08-20 12:29 /user/root/wcinput/gora.properties 
-rw-r--r-- 1 root supergroup 983 2014-08-20 12:29 /user/root/wcinput/hbase-site.xml 
-rw-r--r-- 1 root supergroup 3096 2014-08-20 12:29 /user/root/wcinput/httpclient-auth.xml 
-rw-r--r-- 1 root supergroup 3948 2014-08-20 12:29 /user/root/wcinput/log4j.properties 
-rw-r--r-- 1 root supergroup 511 2014-08-20 12:29 /user/root/wcinput/nutch-conf.xsl 
-rw-r--r-- 1 root supergroup 42610 2014-08-20 12:29 /user/root/wcinput/nutch-default.xml 
-rw-r--r-- 1 root supergroup 753 2014-08-20 12:29 /user/root/wcinput/nutch-site.xml 
-rw-r--r-- 1 root supergroup 347 2014-08-20 12:29 /user/root/wcinput/parse-plugins.dtd 
-rw-r--r-- 1 root supergroup 3016 2014-08-20 12:29 /user/root/wcinput/parse-plugins.xml 
-rw-r--r-- 1 root supergroup 857 2014-08-20 12:29 /user/root/wcinput/prefix-urlfilter.txt 
-rw-r--r-- 1 root supergroup 2484 2014-08-20 12:29 /user/root/wcinput/regex-normalize.xml 
-rw-r--r-- 1 root supergroup 1736 2014-08-20 12:29 /user/root/wcinput/regex-urlfilter.txt 
-rw-r--r-- 1 root supergroup 18969 2014-08-20 12:29 /user/root/wcinput/schema-solr4.xml 
-rw-r--r-- 1 root supergroup 6020 2014-08-20 12:29 /user/root/wcinput/schema.xml 
-rw-r--r-- 1 root supergroup 1766 2014-08-20 12:29 /user/root/wcinput/solrindex-mapping.xml 
-rw-r--r-- 1 root supergroup 1044 2014-08-20 12:29 /user/root/wcinput/subcollections.xml 
-rw-r--r-- 1 root supergroup 1411 2014-08-20 12:29 /user/root/wcinput/suffix-urlfilter.txt
4、运行程序 

[root@jediael project]# hadoop org.jediael.hadoopdemo.wordcount.WordCount wcinput wcoutput3 
14/08/20 12:50:25 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same. 
14/08/20 12:50:26 INFO input.FileInputFormat: Total input paths to process : 26 
14/08/20 12:50:26 INFO util.NativeCodeLoader: Loaded the native-hadoop library 
14/08/20 12:50:26 WARN snappy.LoadSnappy: Snappy native library not loaded 
14/08/20 12:50:26 INFO mapred.JobClient: Running job: job_201408191134_0005 
14/08/20 12:50:27 INFO mapred.JobClient: map 0% reduce 0% 
14/08/20 12:50:38 INFO mapred.JobClient: map 3% reduce 0% 
14/08/20 12:50:39 INFO mapred.JobClient: map 7% reduce 0% 
14/08/20 12:50:50 INFO mapred.JobClient: map 15% reduce 0% 
14/08/20 12:50:57 INFO mapred.JobClient: map 19% reduce 0% 
14/08/20 12:50:58 INFO mapred.JobClient: map 23% reduce 0% 
14/08/20 12:51:00 INFO mapred.JobClient: map 23% reduce 5% 
14/08/20 12:51:04 INFO mapred.JobClient: map 30% reduce 5% 
14/08/20 12:51:06 INFO mapred.JobClient: map 30% reduce 10% 
14/08/20 12:51:11 INFO mapred.JobClient: map 38% reduce 10% 
14/08/20 12:51:16 INFO mapred.JobClient: map 38% reduce 11% 
14/08/20 12:51:18 INFO mapred.JobClient: map 46% reduce 11% 
14/08/20 12:51:19 INFO mapred.JobClient: map 46% reduce 12% 
14/08/20 12:51:22 INFO mapred.JobClient: map 46% reduce 15% 
14/08/20 12:51:25 INFO mapred.JobClient: map 53% reduce 15% 
14/08/20 12:51:31 INFO mapred.JobClient: map 53% reduce 17% 
14/08/20 12:51:32 INFO mapred.JobClient: map 61% reduce 17% 
14/08/20 12:51:39 INFO mapred.JobClient: map 69% reduce 17% 
14/08/20 12:51:40 INFO mapred.JobClient: map 69% reduce 20% 
14/08/20 12:51:45 INFO mapred.JobClient: map 73% reduce 20% 
14/08/20 12:51:46 INFO mapred.JobClient: map 76% reduce 23% 
14/08/20 12:51:52 INFO mapred.JobClient: map 80% reduce 23% 
14/08/20 12:51:53 INFO mapred.JobClient: map 84% reduce 23% 
14/08/20 12:51:55 INFO mapred.JobClient: map 84% reduce 25% 
14/08/20 12:51:59 INFO mapred.JobClient: map 88% reduce 25% 
14/08/20 12:52:00 INFO mapred.JobClient: map 92% reduce 25% 
14/08/20 12:52:02 INFO mapred.JobClient: map 92% reduce 29% 
14/08/20 12:52:06 INFO mapred.JobClient: map 96% reduce 29% 
14/08/20 12:52:07 INFO mapred.JobClient: map 100% reduce 29% 
14/08/20 12:52:11 INFO mapred.JobClient: map 100% reduce 30% 
14/08/20 12:52:15 INFO mapred.JobClient: map 100% reduce 100% 
14/08/20 12:52:17 INFO mapred.JobClient: Job complete: job_201408191134_0005 
14/08/20 12:52:18 INFO mapred.JobClient: Counters: 29 
14/08/20 12:52:18 INFO mapred.JobClient: Job Counters 
14/08/20 12:52:18 INFO mapred.JobClient: Launched reduce tasks=1 
14/08/20 12:52:18 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=192038 
14/08/20 12:52:18 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0 
14/08/20 12:52:18 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0 
14/08/20 12:52:18 INFO mapred.JobClient: Launched map tasks=26 
14/08/20 12:52:18 INFO mapred.JobClient: Data-local map tasks=26 
14/08/20 12:52:18 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=95814 
14/08/20 12:52:18 INFO mapred.JobClient: File Output Format Counters 
14/08/20 12:52:18 INFO mapred.JobClient: Bytes Written=123950 
14/08/20 12:52:18 INFO mapred.JobClient: FileSystemCounters 
14/08/20 12:52:18 INFO mapred.JobClient: FILE_BYTES_READ=352500 
14/08/20 12:52:18 INFO mapred.JobClient: HDFS_BYTES_READ=247920 
14/08/20 12:52:18 INFO mapred.JobClient: FILE_BYTES_WRITTEN=2177502 
14/08/20 12:52:18 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=123950 
14/08/20 12:52:18 INFO mapred.JobClient: File Input Format Counters 
14/08/20 12:52:18 INFO mapred.JobClient: Bytes Read=244713 
14/08/20 12:52:18 INFO mapred.JobClient: Map-Reduce Framework 
14/08/20 12:52:18 INFO mapred.JobClient: Map output materialized bytes=352650 
14/08/20 12:52:18 INFO mapred.JobClient: Map input records=7403 
14/08/20 12:52:18 INFO mapred.JobClient: Reduce shuffle bytes=352650 
14/08/20 12:52:18 INFO mapred.JobClient: Spilled Records=45210 
14/08/20 12:52:18 INFO mapred.JobClient: Map output bytes=307281 
14/08/20 12:52:18 INFO mapred.JobClient: Total committed heap usage (bytes)=3398606848 
14/08/20 12:52:18 INFO mapred.JobClient: CPU time spent (ms)=14400 
14/08/20 12:52:18 INFO mapred.JobClient: Combine input records=0 
14/08/20 12:52:18 INFO mapred.JobClient: SPLIT_RAW_BYTES=3207 
14/08/20 12:52:18 INFO mapred.JobClient: Reduce input records=22605 
14/08/20 12:52:18 INFO mapred.JobClient: Reduce input groups=6749 
14/08/20 12:52:18 INFO mapred.JobClient: Combine output records=0 
14/08/20 12:52:18 INFO mapred.JobClient: Physical memory (bytes) snapshot=4799041536 
14/08/20 12:52:18 INFO mapred.JobClient: Reduce output records=6749 
14/08/20 12:52:18 INFO mapred.JobClient: Virtual memory (bytes) snapshot=19545337856 
14/08/20 12:52:18 INFO mapred.JobClient: Map output records=22605
5、查看结果 

root@jediael project]# hadoop fs -ls wcoutput3 
Found 3 items 
-rw-r--r-- 1 root supergroup 0 2014-08-20 12:52 /user/root/wcoutput3/_SUCCESS 
drwxr-xr-x - root supergroup 0 2014-08-20 12:50 /user/root/wcoutput3/_logs 
-rw-r--r-- 1 root supergroup 123950 2014-08-20 12:52 /user/root/wcoutput3/part-r-00000 
[root@jediael project]# hadoop fs -cat wcoutput3/part-r-00000
!!      2
!ci.*.*.us      1
!co.*.*.us      1
!town.*.*.us    1
"AS     22
"Accept"        1
"Accept-Language"       1
"License");     22
"NOW"   1
"WiFi"  1
"Z"     1
"all"   1
"content"       1
"delete 1
"delimiter"     1
………………

三、程序分析

1、WordCountMap类继承了org.apache.hadoop.mapreduce.Mapper，4个泛型类型分别是map函数输入key的类型，输入value的类型，输出key的类型，输出value的类型。

2、WordCountReduce类继承了org.apache.hadoop.mapreduce.Reducer，4个泛型类型含义与map类相同。

3、map的输出类型与reduce的输入类型相同，而一般情况下，map的输出类型与reduce的输出类型相同，因此，reduce的输入类型与输出类型相同。

4、hadoop根据以下代码确定输入内容的格式：
job.setInputFormatClass(TextInputFormat.class);
TextInputFormat是hadoop默认的输入方法，它继承自FileInputFormat。在TextInputFormat中，它将数据集切割成小数据集InputSplit，每一个InputSplit由一个mapper处理。此外，InputFormat还提供了一个RecordReader的实现，将一个InputSplit解析成<key,value>的形式，并提供给map函数：
key：这个数据相对于数据分片中的字节偏移量，数据类型是LongWritable。
value：每行数据的内容，类型是Text。
因此，在本例中，map函数的key/value类型是LongWritable与Text。

5、Hadoop根据以下代码确定输出内容的格式：
job.setOutputFormatClass(TextOutputFormat.class);
TextOutputFormat是hadoop默认的输出格式，它会将每条记录一行的形式存入文本文件，如
the 30
happy 23
……











转载于:https://www.cnblogs.com/jinhong-lu/p/4559386.html

apple01010105
关注
Hadoop_1 入门WordCount
weixin_39161031的博客
05-06 288
记录踩得坑以及部署环境流程。 搭建的是伪分布Hadoop 首先环境需要安装zookeeper。这个好装，不多说 其次比较复杂的是安装openssh。我的Linux系统是centos 7 mini版本。安装openssh之前的准备工作有很多。 需要安装的tar包有： libpcap-1.8.1.tar.gz zlib-1.2.8.tar.gz perl-5.22.4.tar.gz ...
第一个hadoop入门程序WordCount
小猪猪and小马马的博客
08-26 591
package com.yootk.mr.demo; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoo
[Hadoop] 从WordCount 入门
RangerWolf的专栏
09-09 156
Hadoop就不介绍了~ 之后应该会补充一个如何在单机Ubuntu上面部署hadoop的文章。不过网上也一大把了~  先贴一个可以用的WordCount代码   package org.myorg; import java.io.IOException; import java.util.*; import org.apache.hadoop...
hadoop入门-wordcount
u010634288的博客
12-10 556
hadoop是一个阿帕奇基金会的一个顶级项目，主要用于大量的廉价机器组成的集群去执行大规模运算，主要是海量数据的处理。 在hadoop官网（http://hadoop.apache.org/）hadoop包含了4个模块分别是： 1、Hadoop Common  2、Hadoop Distributed File System (HDFS™)  3、Hadoop YARN  4、Hadoo
hadoop初学-WordCount
菜鸟的专栏
04-03 330
WordCount.javaimport java.util.StringTokenizer;import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Ma
Hadoop入门详解：WordCount实例剖析与架构解析
在您提到的具体实例中，WordCount 是 Hadoop 中的一个经典示例，它展示了如何利用 MapReduce 将文本文件拆分成单词，计算每个单词出现的频率。这个过程涉及创建 Mapper 和 Reducer，以及 JobTracker 分配任务。实验...
Hadoop MapReduce入门：WordCount与去重详解
在Hadoop MapReduce框架中，WordCount是一个经典的入门实例，用于统计文本文件中各单词出现的频率。这个过程分为四个关键步骤： 1. **数据划分（Splits）**： 文件被划分为多个小块（splits），每个split对应一个...
Hadoop MapReduce实践：WordCount程序
这个实验不仅展示了Hadoop MapReduce的基本用法，还涵盖了Hadoop集群的启动和管理，以及Java程序在Hadoop环境中的编译和执行过程，是学习Hadoop入门的重要步骤。通过实践，可以更好地理解和掌握分布式计算的核心概念...
大数据：Hadoop入门经典案例wordcount单词统计Java代码实现
最新发布
2401_84141419的博客
04-29 968
，注意，在Hadoop2.8.3，Windows 10,64位环境下，编译出的jar包里面有两个文件夹：META-INF和license，如果直接运行将导致失败。4，通过start-all命令，启动Hadoop，如附录1中那样。3，在IntelliJ IDEA中直接导出可运行的Java的jar包（具体方法见文章。上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！如果不删除这两个文件夹，在jar包运行时候，会抛出错误导致运行失败。运行后输出的结果和附1相同。
Hadoop案例实战：WordCount、去重与数据分析
首先，"wordCount"任务是经典的Hadoop入门案例，它要求统计一个文本文件（如`acticle.txt`）中每个单词的出现次数。这个任务展示了如何将输入分割成键值对，通过Map函数处理每个单词，然后由Reduce函数汇总结果。 ...
hadoop入门经典书籍
08-08
hadoop的经验入门书籍，适合刚刚开始了解学习hadoop技术的人
hadoop实现wordcount
05-24
通过hadoop 来进行感情分析，代码可以实现将几个GB大小的数据，来统计词的数量
hadoop demo wordcount
07-05
hadoop入门程序wordcount的源代码，java编写。可供参考
Hadoop编程学习1--WordCount
xiedelong的博客
05-17 298
package org.apache.hadoop.examples; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.F...
Hadoop 从零开始学习系列-wordCount
jdzms23的专栏
01-09 2006
学习基于hadoop2.5.2版本 WordCount做为hadoop的hello world程序，今天花了半天时间，终于跑出了结果，以下记录过程: 1.建立maven工程，加载hadoop相关jar包。 目录结构如下： pom.xml配置如下： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="h
Hadoop入门-WordCount示例
mrdu_somefun的博客
11-27 537
WordCount的过程如图，这里记录下入门的过程，虽然有很多地方理解的只是皮毛。 Hadoop的安装 安装比较简单，安装完成后进行单机环境的配置。 hadoop-env.sh:指定JAVA_HOME。 # The only required environment variable is JAVA_HOME. All others are # optional. When r
Hadoop学习笔记：（一）WordCount运行
一个人漫步走
07-10 1068
前言：本文是在hadoop已经配置好的情况下WordCount是hadoop下的HelloWorld程序，是初学者必须要会的。下面是用eclipse进行开发一、工程与MapReduce代码 新建工程，创建WordCount class 下面的代码是旧版mapreduce package mapreduce;import java.io.IOException; import java.u
hadoop 超详细入门wordcount
continueOo的博客
08-06 1539
概述今天博客收到了第一条评论，感觉很赞哦，最近一直在学习hadoop，主要是结合《实战Hadop：开启通向云计算的捷径(刘鹏)》，然后apache官网的doc（还是要以官网为主，虽然是全英文的，但总比那些版本都不对的博客来开得多得多），自己尝试了一下hadoop的hello world之后，有继续尝试了使用docker来模拟多机的集群分布式环境，最后再返回来看hadoop的核心框架hdfs和mapr
hadoop 经典入门wordcount
NON blog
08-24 446
/**  *  hadoop经典入门wordcount 主要有三大步 1.编写mapper函数 2.编写reducer函数 3.配置  */ public class WordCount { /** * mapper类 *  * 这些泛型继承自hadoop自定义的序列化框架Writable *         Hadoop使用自己的序列化框架以减少集群间，网络流量提高性能 也可以在
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值