MapReduce实战-词频统计、文件合并排序_mapreduc 词频统计排序(1)

最新推荐文章于 2024-07-25 22:24:14 发布
最新推荐文章于 2024-07-25 22:24:14 发布
阅读量1k 收藏 26
点赞数 27
文章标签： 单元测试 功能测试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84790759/article/details/138937290
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化的资料的朋友，可以戳这里获取


输出：

Bye 1
Hello 1
World 2


### 输入


1. 创建输入文件

cd /usr
mkdir file #新建目录
cd file
mkdir WordCount
cd WordCount
echo “Hello World”>file1.txt
echo “Bye World”>file2.txt #file1、2作为输入文件


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210505130922310.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)


2. 传入hdfs输入文件夹

hdfs dfs -mkdir -p /user/root #若无root用户文件夹则先创建
hadoop fs -mkdir WordCount #创建一个目录（可自定义）
hadoop fs -mkdir WordCount/input #输入文件夹
hadoop fs -ls WordCount #查看文件
hadoop fs -put /usr/file/WordCount/file*.txt WordCount/input #上传
hadoop fs -ls WordCount/input
#hadoop fs -rmr wc/output #若存在则删除输出目录


![在这里插入图片描述](https://img-blog.csdnimg.cn/2021050513173364.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)


### 源码


1. 源代码

cd /usr/file/WordCount
vi WordCount.java

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {

public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
        StringTokenizer itr = new StringTokenizer(value.toString());
        while (itr.hasMoreTokens()) {
            word.set(itr.nextToken());
            context.write(word, one);
        }
    }
}

public static class IntSumReducer
        extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}

public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    if (args.length != 2) {
        System.err.println("usage: WordCount <in> <out>");
        System.exit(2);
    }
    Job job = Job.getInstance(conf,"WordCount");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(WordCount.TokenizerMapper.class);
    job.setCombinerClass(WordCount.IntSumReducer.class);
    job.setReducerClass(WordCount.IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}

}


2. 编译打包

javac WordCount.java -cp $(hadoop classpath)
jar -cvf WordCount.jar *.class


![在这里插入图片描述](https://img-blog.csdnimg.cn/2021050513195896.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)


### 输出

#hadoop jar jar包位置 主类名 参数1（输入路径） 参数2（输出路径）
hadoop jar /usr/file/WordCount/WordCount.jar WordCount WordCount/input WordCount/output
#查看输出
hadoop fs -cat WordCount/output/*


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210505140726822.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210505140826565.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)  
 附：重启步骤

exit #退出docker容器
shutdown -r now #重启系统
systemctl start docker #启动docker服务
docker start hadoop1 #启动相应容器
docker start hadoop2
docker start hadoop3
docker exec -it hadoop1 bash #进入主节点
$HADOOP_HOME/sbin/./start-all.sh #启动集群


## 合并




---


对输入文件进行合并，剔除其中重复的内容。  
 如输入：  
 file1.txt

20150101 x
20150102 y
20150103 x
20150104 y
20150105 z
20150106 x


file2.txt

20150101 y
20150102 y
20150103 x
20150104 z
20150105 y


输出：

20150101 x
20150101 y
20150102 y
20150103 x
20150104 y
20150104 z
20150105 y
20150105 z
20150106 x


### 输入

cd /usr/file #没有则新建一个目录
mkdir Merge
cd Merge
vi file1.txt#内容就是上面的file1.txt
vi file2.txt
hadoop fs -mkdir Merge
hadoop fs -mkdir Merge/input
hadoop fs -put /usr/file/Merge/file*.txt Merge/input
hadoop fs -ls Merge/input


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210505143157529.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)



> 
> （~~插播反爬信息~~ ）博主CSDN地址：<https://wzlodq.blog.csdn.net/>
> 
> 
> 


### 源码

vi Merge.java
javac Merge.java -cp $(hadoop classpath)
jar -cvf Merge.jar *.class

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import java.io.IOException;

public class Merge {

public static class Map extends Mapper<Object, Text, Text, Text> {
    private static Text text = new Text();

    public void map(Object key, Text value, Context content) throws IOException, InterruptedException {
        text = value;
        content.write(text, new Text(""));
    }
}

public static class Reduce extends Reducer<Text, Text, Text, Text> {
    public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
        context.write(key, new Text(""));
    }
}

public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    if (args.length != 2) {
        System.err.println("usage: Merge <in> <out>");
        System.exit(2);
    }
    Job job = Job.getInstance(conf,"Merge");
    job.setJarByClass(Merge.class);
    job.setMapperClass(Merge.Map.class);
    job.setReducerClass(Merge.Reduce.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(Text.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}

}


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210505143543763.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)


### 输出

hadoop jar /usr/file/Merge/Merge.jar Merge Merge/input Merge/output
hadoop fs -cat Merge/output/*


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210505153111821.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/2021050515314880.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)


## 排序




---


读取所有输入文件中的整数，进行升序排序后，输出到一个新文件。  
 输入：  
 file1.txt

33
37
12
40


file2.txt

4
16
39
5


file3.txt

1
45
25


输出：  
 输出的数据格式为每行两个整数，第一个整数位第二个整数的排序为此，第二个整数为原待排列的整数。

1 1
2 4
3 5
4 12
5 16
6 25
7 33
8 37
9 39
10 40
11 45


### 输入

cd /usr/file #没有则新建一个目录
mkdir Sort
cd Sort
vi file1.txt#内容就是上面的file1.txt
vi file2.txt

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

cd /usr/file #没有则新建一个目录
mkdir Sort
cd Sort
vi file1.txt#内容就是上面的file1.txt
vi file2.txt


[外链图片转存中...(img-rf25CzaK-1715807829208)]
[外链图片转存中...(img-hSIYaqIp-1715807829209)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618631832)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2401_84790759
关注
  • 27
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MapReduce实验_统计词频.docx
06-06
该文件中实现了词频统计的 MapReduce 程序，包括 TokenizerMapper 和 IntSumReducer 两个部分。 TokenizerMapper 类继承于 Mapper 类，四个参数表示其输入键类型为 Object，输入值为文本，输出键为文本，输出值为...
词频统计+倒排索引+数据去重+TopN
01-24
3. `wordcount` 文件可能是在MapReduce中执行词频统计后的输出，包含每个单词及其出现次数。 4. `Dedup` 文件可能记录了去重后的数据，确保每个数据项只出现一次。 5. `InvertedIndex` 文件则可能是生成的倒排索引，...
MapReduce实战-词频统计、文件合并排序_mapreduc 词频统计排序
2401_84253380的博客
04-12 1182
链图片转存中…(img-E4cmlGPj-1712884616182)][外链图片转存中…(img-DmmaHKOQ-1712884616183)]
MapReduce实战-词频统计、文件合并排序_mapreduc 词频统计排序(2)
2401_84790759的博客
05-16 751
hadoop jar jar包位置 主类名 参数1（输入路径） 参数2（输出路径）$HADOOP_HOME/sbin/./start-all.sh #启动集群。docker exec -it hadoop1 bash #进入主节点。vi file1.txt#内容就是上面的file1.txt。vi file1.txt#内容就是上面的file1.txt。docker start hadoop1 #启动相应容器。cd /usr/file #没有则新建一个目录。cd /usr/file #没有则新建一个目录。
MapReduce实战-词频统计、文件合并排序
有一分热，发一分光。
05-05 7603
MapReduce编程初级实践，线上linux环境实操。 文章目录 环境搭建 词频统计 输入 源码 输出 合并 输入 源码 输出 排序 输入 源码 输出
最全MapReduce实战-词频统计、文件合并排序_mapreduc 词频统计排序，2024年最新2024最新软件测试大厂面试题来袭
2401_84563875的博客
05-11 369
hadoop伪分布式集群环境，包括设置JAVA_HOME、HADOOP_HOME等。可参考。
MapReduce初级案例
奋斗、
03-30 1113
1、数据去重 　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。 1.1 实例描述 　　对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 　　样例输入如下所示：      1）file1：
MapReduce-a-flexible-data-.rar_mapReduce_reduce
09-23
虽然原始的MapReduce模型已经很强大，但随着时间的发展，人们发现了一些可以优化的地方，例如引入Combiner减少网络传输，使用更高效的排序算法，以及使用更轻量级的计算模型如Spark和Flink来替代MapReduce在某些场景...
数据存储实验5-编写MapReduce程序实现词频统计.doc（实验报告）
10-21
数据存储实验5-编写MapReduce程序实现词频统计 本实验的主要目的是通过编写MapReduce程序来实现词频统计，熟悉Hadoop中的MapReduce模块的处理逻辑和编程。实验中，我们将使用Linux操作系统和Eclipse或Intellij Idea...
大数据 hadoop mapreduce 词频统计
10-23
【大数据Hadoop MapReduce词频统计】 大数据处理是现代信息技术领域的一个重要概念，它涉及到海量数据的存储、管理和分析。Hadoop是Apache软件基金会开发的一个开源框架，专门用于处理和存储大规模数据集。Hadoop的...
软件测试基础1--功能测试
m0_69050443的博客
07-25 977
需求1：标题大于0，小于等于30个字符边界值优化，将七个点优化为五个点，即优化离点，开内闭外开区间保留内离点，闭区间保留外离点。
卓码软件测评：软件功能测试和非功能测试详情介绍
卓码测评
07-24 498
随着信息技术的不断发展，软件在我们日常生活与工作中扮演着越来越重要的角色。然而，软件质量的好坏直接关系到使用者的体验和企业的声誉。在软件开发过程中，功能测试和非功能测试作为保证软件质量的重要手段，受到了越来越多的关注。
Python编程学习第一篇——Python零基础快速入门（六）（4）异常处理
urhero的专栏
07-25 396
我们已经了解了Python的基本数据类型、变量和基本的逻辑控制语句，基于这些基础知识可以编写一些小程序了，但是在写程序的时候我们会发现，有时候程序并不是按我们预期的方向执行，有的直接报错，有的没有报错，却并未得到我们预期的结果。在这个例子中，除数为0会引发ZeroDivisionError异常，我们将异常信息赋值给变量e，并输出"除数不能为0"和异常信息。在这个例子中，由于除数不为0，所以没有发生ZeroDivisionError异常，代码会执行else语句块，并输出结果2.0。
AvaloniaUI的学习
最新发布
lishuangquan1987的博客
07-25 946
官方中文文档：https://docs.avaloniaui.net/zh-Hans/docs/welcome。
学习日志：JVM垃圾回收
weixin_46117680的博客
07-23 1040
当需要排查各种内存溢出问题、当垃圾收集成为系统达到更高并发的瓶颈时，我们就需要对这些“自动化”的技术实施必要的监控和调节。可达性算法中描述的对象引用，一般指的是强引用，即是GCRoot对象对普通对象有引用关系，只要这层关系存在普通对象就不会被回收。
前端学习1——自学习梳理
qq_63125992的博客
07-24 405
【代码】前端学习1——自学习梳理。
虚拟机学习
weixin_63374588的博客
07-25 342
虚拟机的优点：虚拟机使用教程：
FastAPI（八十）实战开发《在线课程学习系统》接口开发-- 课程列表
mr~li的博客
07-25 396
源码见："
MapReduce编程案例--词频统计
03-14
MapReduce编程案例中的词频统计是一种常见的数据处理方法，它可以用于处理大规模的文本数据，例如在搜索引擎中对搜索结果进行排序。该方法通过将文本数据分割成小块，然后对每个小块进行词频统计，最后将所有小块的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值