hadoop之WordCount源码分析

最新推荐文章于 2021-08-13 11:39:18 发布
最新推荐文章于 2021-08-13 11:39:18 发布
阅读量1k 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop wordcount map reduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/christprince007/article/details/38382835
版权 
//最近在研究hadoop，第一个想要要开始研究的必定是wordcount程序了。看了《hadoop应用开发实战讲解》结合自己的理解，对wordcount的源码进行分析。

<pre name="code" class="java">

package org.apache.hadoop.mapred;

import java.io.IOException;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapred.FileOutputFormat;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.MapReduceBase;
import org.apache.hadoop.mapred.Mapper;
import org.apache.hadoop.mapred.OutputCollector;
import org.apache.hadoop
最低0.47元/天 解锁文章
Valar_Morghulis
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop基础学习（一）分析、编写并运行WordCount词频统计程序
jiq•钦's technical Blog
06-24 8472
前面已经在我的Ubuntu单机上面搭建好了伪分布模式的HBase环境，其中包括了Hadoop的运行环境。 详见我的这篇博文：http://blog.csdn.net/jiyiqinlovexx/article/details/29208703 我的目的主要是学习HBase，下一步打算学习的是将HBase作为Hadoop作业的输入和输出。 但是好像以前在南大上学时学习的Hadoop都忘记得差不
hadoop单节点运行本地模式wordcount词频统计分析
让，
04-28 184
Hadoop是小象——WordCount源码分析
No_Game_No_Life_的博客
03-01 1614
WordCount 源码分析 WordCount 的源码一般是在下载的Hadoop安装包下的hadoop-1.2.1/src/examples/org/apache/hadoop/examples 里面有WordCount.java文件，你可以使用UltraEdit或者记事本打开。内容如下： package org.apache.hadoop.examples; import java.io.I...
WordCount源码分析
Ricardo's Blog
08-13 140
WordCount源码分析 参考：Hadoop集群（第6期）_WordCount运行详解 环境： hadoop 3.1.3 hadoop-mapreduce-examples-3.1.3.jar中的wordcount源码 流程： 将文件拆分成splits，因为文件很小，所以真正运行时一整个文件就是一个split，下图模拟两个split，并将文件按行分割形成key，value对，这一步由MapReduce框架自动完成，key是偏移量，包括换行所占字符数 分割完成后交给用户定义的map方法进行
hadoop 实战———WordCount源码分析
飞天小牛的专栏
02-22 719
一：实例描述       计算出文件中各个单词到频数。要求输出结果按照单词字母顺序进行排序。每个单词和其频数占一行，用间隔分开。 二：设计原理       将文件内容切分成单词,然后把所以相同的单词聚集在一起。      由hadoop的MapReduce框架可以在Map阶段完成单词的切分工作，在Reduce阶段完成聚集工作。     MapReduce中传递的数据都是形式，在Reduc
WordCount源码剖析
一路向前
12-19 5374
为了把抽象问题转化成为具体问题，深入理解MapReduce的工作原理，因此，以WordCount为例，详细分析MapReduce是怎么来执行的，中间的执行经过了哪些步骤，每个步骤产生的结果是什么。简单来说，大体上工作流程是Input从HDFS里面并行读取文本中的内容，经过MapReduce模型，最终把分析出来的结果用Output封装，持久化到HDFS中。 一、WordCount的Map过程 1
WordCount2_hadoopwordcount_
10-01
在标题中的"WordCount2_hadoopwordcount_"可能指的是Hadoop WordCount的第二个版本，通常是在Hadoop 2.x环境下运行。这个程序的核心任务是对输入文本进行分词，统计每个单词出现的次数，并将结果输出。在这个过程中...
hadoop demo wordcount
07-05
通过深入分析和实践这个"BigdataProject"中的Hadoop WordCount示例，你不仅可以掌握Hadoop的基础知识，还能为后续的大数据分析项目打下坚实基础。这将帮助你理解和应用Hadoop框架解决实际问题，尤其是在大数据领域。
hadoop_wordcount
04-29
Hadoop WordCount不仅是一个教学示例，也是大数据分析的基础，它可以扩展到更复杂的任务，如模式识别、情感分析等。理解并掌握这个例子有助于深入理解Hadoop MapReduce的工作原理，从而能够构建更高效的数据处理系统...
大数据实验报告Hadoop编程实现wordcount单词统计程序附源码.doc
12-06
大数据实验报告 Hadoop 编程实现 wordcount 单词统计程序附源码 本实验报告旨在介绍使用 Hadoop 编程实现 wordcount 单词统计程序的步骤和代码实现。实验的目的在于熟悉 Hadoop 虚拟机的安装与环境的配置，初步理解...
hadoop 框架下 mapreduce源码例子 wordcount
04-02
在这个例子中，我们将深入理解Hadoop MapReduce的工作原理以及如何在Eclipse环境下实现WordCount源码。 1. **Hadoop MapReduce概述**： Hadoop MapReduce是由两个主要部分组成的：Map阶段和Reduce阶段。Map阶段将...
Ubuntu 的libstdc++.so.5安装
christprince007的专栏
08-02 8830
今天运行程序的时候总是有一个libstdc++5的错误，纠结了好长时间。网上百度了下终于找到了这个问题的原因和解决办法。具体的实现如下： 选择自动安装 sudo apt-get install libstdc++5 选择手动安装： .下载安装包：      wget-c http://free.nchc.org.tw/ubuntu//pool/universe/g/gc
Hadoop伪分布模式配置部署
christprince007的专栏
12-23 1836
二、Hadoop伪分布式模式配置 本实验需要按照上一节单机模式部署后继续进行操作 1. 配置core-site.xml, hdfs-site.xml，mapred-site.xml及yarn-site.xml 1).修改core-site.xml: $ sudo gvim /usr/local/hadoop/etc/core-site.xml configurat
Hadoop单机模式安装
christprince007的专栏
12-23 1154
1. 添加用户及用户组 创建用户hadoop $ sudo adduser hadoop 需要输入shiyanlou的密码：shiyanlou。并按照提示输入hadoop用户的密码。 2. 添加sudo权限 将hadoop用户添加进sudo用户组 $ sudo usermod -G sudo hadoop 四、安装及配置依赖的软件包 1. 安装openssh-server、ja
Hadoop的Combiner
christprince007的专栏
08-05 1073
Hadoop的Combiner
hadoop的wordcount的修改版
christprince007的专栏
09-01 1024
//这个是在原来的基础上修改以后得到的，将其中的分词的依据给换掉了，并且进行词频统计的时候会自动的忽略大小写   packageorg.apache.hadoop.mapred;   importjava.io.IOException; importjava.util.ArrayList; importjava.util.Iterator; importjava.util.List;
Hadoop里的Partitioner
christprince007的专栏
08-04 955
Haooop Partitioner
在ubuntu上安装maven
christprince007的专栏
07-22 761
下载maven http://maven.apache.org/download.cgi  解压 用压缩管理器打开，解压至home目录下 配置环境变量 sudo gedit /etc/profile添加 export M2_HOME=/home/weibo/apache-maven-3.0.5（视自己的情况而定） export M2=$M2_HOME/bin e
hadoop的wordcount测试
最新发布
06-28
### 回答1： Hadoop的WordCount测试是Hadoop的一个基本测试，用于测试Hadoop集群的运行情况和性能。该测试的目的是统计一个文本文件中每个单词出现的次数。测试过程中，Hadoop会将文本文件分成多个块，并将这些块分配给不同的节点进行处理。每个节点会对自己分配的块进行单词计数，然后将结果发送给主节点进行汇总。最终，主节点会将所有节点的结果合并起来，得到最终的单词计数结果。这个测试可以帮助我们了解Hadoop集群的运行情况和性能，以及优化Hadoop集群的配置和参数。 ### 回答2： Hadoop的WordCount测试是一个基础的MapReduce程序，目的是对一个文本文件进行词频统计。这个测试可以帮助初学者熟悉Hadoop的运行环境以及编写MapReduce程序的方法。 WordCount测试需要先将文本文件上传至Hadoop分布式文件系统（HDFS）中。上传完成后，可以通过Hadoop提供的命令行工具执行WordCount程序。具体步骤如下： 1. 向HDFS上传测试文件 使用以下命令向HDFS上传测试文件： ``` hdfs dfs -put input.txt /input ``` 其中，`input.txt`是待统计的文本文件名，`/input`是HDFS中的目录。 2. 编写WordCount程序 在编写WordCount程序时，需要实现两个主要的类：`Mapper`和`Reducer`。`Mapper`类负责读取文本文件并将其中的单词拆分成键值对，`Reducer`类负责对键值对进行统计计算。其中，键是单词，值是单词的出现次数。 下面是Mapper类和Reducer类的示例代码： ``` public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); StringTokenizer tokenizer = new StringTokenizer(line); while (tokenizer.hasMoreTokens()) { word.set(tokenizer.nextToken()); context.write(word, one); } } } public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> { public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } context.write(key, new IntWritable(sum)); } } ``` 3. 执行WordCount程序 使用以下命令执行WordCount程序： ``` hadoop jar /path/to/hadoop-streaming.jar \ -input /input \ -output /output \ -mapper WordCountMapper.java \ -reducer WordCountReducer.java \ -file WordCountMapper.java \ -file WordCountReducer.java ``` 其中，`/path/to/hadoop-streaming.jar`是Hadoop提供的MapReduce执行程序，`/input`和`/output`分别是输入和输出目录，`WordCountMapper.java`和`WordCountReducer.java`是Mapper类和Reducer类的java文件。使用`-file`参数将这两个文件上传至Hadoop集群中的每台机器上。 执行完成后，可以使用以下命令查看输出文件： ``` hdfs dfs -cat /output/part-r-00000 ``` 这样可以看到类似下面的输出结果： ``` apple 3 banana 1 orange 2 ... ``` 这里的输出结果表示输入文本中`apple`出现了3次，`banana`出现了1次，`orange`出现了2次，以此类推。 总之，通过这个WordCount测试，初学者可以熟悉Hadoop的MapReduce编程模型，掌握基本的MapReduce编程方法，同时也可以了解Hadoop的运行环境和基本命令行操作。 ### 回答3： Hadoop的WordCount测试是Hadoop中最基本，也是最常见的一个测试，用于验证Hadoop集群的配置和工作能力。测试的目的是计算出给定文本文件中每个单词出现的次数，可以通过Hadoop MapReduce编程框架和Hadoop分布式文件系统（HDFS）来实现。 WordCount测试流程： 1.准备输入数据文件：可以使用任何文本文件作为输入，例如一些文章，博客，日志等。通常使用的文件格式是以文本格式存储的普通文本文件。 2.将输入文件上传到HDFS上：可以使用HDFS命令行工具将文本文件上传到HDFS上。一旦文件上传到HDFS，Hadoop就可以对其进行分布式处理了。 3.编写MapReduce程序：通过编写MapReduce程序实现WordCount测试。Mapper阶段用于将输入文件中的文本划分成单词，Reducer阶段用于计算每个单词出现的次数。 4.执行程序：使用Hadoop集群的提交作业命令（hadoop jar）提交MapReduce程序。 5.查看输出结果：Hadoop将执行MapReduce程序的输出结果存储到HDFS上，可以通过命令行或Web界面进行查看。 WordCount测试的结果对于调试Hadoop集群以及运行MapReduce程序具有重要的作用。WordCount测试是Hadoop中最基础的测试案例，也可以根据需要进行扩展和修改，例如计算倒排索引等。需要注意的是，进行WordCount测试需要对Hadoop和MapReduce框架有一定的了解，才能正确完成测试并获取正确的结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值