MapReduce实战-词频统计、文件合并排序_mapreduc 词频统计排序(2)

最新推荐文章于 2024-10-04 23:20:18 发布
最新推荐文章于 2024-10-04 23:20:18 发布
阅读量772 收藏 15
点赞数 11
文章标签： 单元测试 功能测试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84790759/article/details/138937302
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {

public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
        StringTokenizer itr = new StringTokenizer(value.toString());
        while (itr.hasMoreTokens()) {
            word.set(itr.nextToken());
            context.write(word, one);
        }
    }
}

public static class IntSumReducer
        extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}

public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    if (args.length != 2) {
        System.err.println("usage: WordCount <in> <out>");
        System.exit(2);
    }
    Job job = Job.getInstance(conf,"WordCount");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(WordCount.TokenizerMapper.class);
    job.setCombinerClass(WordCount.IntSumReducer.class);
    job.setReducerClass(WordCount.IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}

}


2. 编译打包

javac WordCount.java -cp $(hadoop classpath)
jar -cvf WordCount.jar *.class


![在这里插入图片描述](https://img-blog.csdnimg.cn/2021050513195896.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)


### 输出

#hadoop jar jar包位置 主类名 参数1（输入路径） 参数2（输出路径）
hadoop jar /usr/file/WordCount/WordCount.jar WordCount WordCount/input WordCount/output
#查看输出
hadoop fs -cat WordCount/output/*


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210505140726822.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210505140826565.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)  
 附：重启步骤

exit #退出docker容器
shutdown -r now #重启系统
systemctl start docker #启动docker服务
docker start hadoop1 #启动相应容器
docker start hadoop2
docker start hadoop3
docker exec -it hadoop1 bash #进入主节点
$HADOOP_HOME/sbin/./start-all.sh #启动集群


## 合并




---


对输入文件进行合并，剔除其中重复的内容。  
 如输入：  
 file1.txt

20150101 x
20150102 y
20150103 x
20150104 y
20150105 z
20150106 x


file2.txt

20150101 y
20150102 y
20150103 x
20150104 z
20150105 y


输出：

20150101 x
20150101 y
20150102 y
20150103 x
20150104 y
20150104 z
20150105 y
20150105 z
20150106 x


### 输入

cd /usr/file #没有则新建一个目录
mkdir Merge
cd Merge
vi file1.txt#内容就是上面的file1.txt
vi file2.txt
hadoop fs -mkdir Merge
hadoop fs -mkdir Merge/input
hadoop fs -put /usr/file/Merge/file*.txt Merge/input
hadoop fs -ls Merge/input


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210505143157529.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)



> 
> （~~插播反爬信息~~ ）博主CSDN地址：<https://wzlodq.blog.csdn.net/>
> 
> 
> 


### 源码

vi Merge.java
javac Merge.java -cp $(hadoop classpath)
jar -cvf Merge.jar *.class

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import java.io.IOException;

public class Merge {

public static class Map extends Mapper<Object, Text, Text, Text> {
    private static Text text = new Text();

    public void map(Object key, Text value, Context content) throws IOException, InterruptedException {
        text = value;
        content.write(text, new Text(""));
    }
}

public static class Reduce extends Reducer<Text, Text, Text, Text> {
    public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
        context.write(key, new Text(""));
    }
}

public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    if (args.length != 2) {
        System.err.println("usage: Merge <in> <out>");
        System.exit(2);
    }
    Job job = Job.getInstance(conf,"Merge");
    job.setJarByClass(Merge.class);
    job.setMapperClass(Merge.Map.class);
    job.setReducerClass(Merge.Reduce.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(Text.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}

}


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210505143543763.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)


### 输出

hadoop jar /usr/file/Merge/Merge.jar Merge Merge/input Merge/output
hadoop fs -cat Merge/output/*


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210505153111821.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/2021050515314880.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)


## 排序




---


读取所有输入文件中的整数，进行升序排序后，输出到一个新文件。  
 输入：  
 file1.txt

33
37
12
40


file2.txt

4
16
39
5


file3.txt

1
45
25


输出：  
 输出的数据格式为每行两个整数，第一个整数位第二个整数的排序为此，第二个整数为原待排列的整数。

1 1
2 4
3 5
4 12
5 16
6 25
7 33
8 37
9 39
10 40
11 45


### 输入

cd /usr/file #没有则新建一个目录
mkdir Sort
cd Sort
vi file1.txt#内容就是上面的file1.txt
vi file2.txt
vi file3.txt
hadoop fs -mkdir Sort
hadoop fs -mkdir Sort/input
hadoop fs -put /usr/file/Sort/file*.txt Sort/input
hadoop fs -ls Sort/input


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210505172347940.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDM0NzA4,size_16,color_FFFFFF,t_70)


### 源码

vi Sort.java
javac Sort.java -cp $(hadoop classpath)
jar -cvf Sort.jar *.class

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class Sort {
public static class Map extends Mapper<Object,Text,IntWritable,IntWritable>{
private static IntWritable data=new IntWritable();
public void map(Object key,Text value,Context context) throws IOException, InterruptedException{
String line=value.toString();
data.set(Integer.parseInt(line));
context.write(data, new IntWritable(1));
}
}
public static class Reduce extends Reducer<IntWritable,IntWritable,IntWritable,IntWritable>{
private static IntWritable linenum=new IntWritable(1);
public void reduce(IntWritable key,Iterable values,Context context) throws IOException, InterruptedException{
for(IntWritable num:values){
context.write(linenum, key);
linenum=new IntWritable(linenum.get()+1);
}

    }
}

public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException{
    Configuration conf=new Configuration();
    if(args.length!=2){
        System.err.println("Usage:Sort <in> <out>");
        System.exit(2);
    }
    Job job=Job.getInstance(conf,"Sort");
    job.setJarByClass(Sort.class);
    job.setMapperClass(Sort.Map.class);
    job.setReducerClass(Sort.Reduce.class);
    job.setOutputKeyClass(IntWritable.class);
    job.setOutputValueClass(IntWritable.class);

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

  job.setOutputKeyClass(IntWritable.class);
    job.setOutputValueClass(IntWritable.class);

[外链图片转存中…(img-dyG84Ndk-1715807862127)]
[外链图片转存中…(img-gu9P3oD9-1715807862127)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84790759
关注
MapReduce编程实例-----词频统计（浅记）
gklive的博客
03-27 8007
实验目的： Windows系统下，通过MapReduce实现次词频统计 MapReduce编程实例-----词频统计 1)·首先，MapReduce通过默认组件TextInputFormat将待处理的数据文件(如ext1.txt和text2.txt)， 把每一行的数据都转变为<key,value>键值对； 2)·其次，调用Map()方法，将单词进行切割并进行计数，输出键值对作为Reducer阶段的输入键值对 3)·最后，调用Reduce()方法将单词汇总、排序后，通过...
MapReduce实战-词频统计、文件合并排序_mapreduc 词频统计排序(1)
2401_84561579的博客
05-07 937
hadoop jar jar包位置 主类名 参数1（输入路径） 参数2（输出路径）$HADOOP_HOME/sbin/./start-all.sh #启动集群。(img-RA2WSSct-1715062934773)]docker exec -it hadoop1 bash #进入主节点。vi file1.txt#内容就是上面的file1.txt。vi file1.txt#内容就是上面的file1.txt。cd /usr/file #没有则新建一个目录。cd /usr/file #没有则新建一个目录。
MapReduce基础开发之一词汇统计和排序（wordcount）
医疗影像检索
06-22 6596
统计/var/log/boot.log中含k的字符的数量，并对含k的字符按照数量排序。需分两个job完成，一个用来统计，一个用来排序。 一、统计 1、上传文件到hadoop：    1)新建文件夹：hadoop fs -mkdir /tmp/fjs    2)上传文件：hadoop fs -put /var/log/boot.log /tmp/fjs 2、编写wo
MapReduce实战-词频统计、文件合并排序_mapreduc 词频统计排序
2401_84790808的博客
05-16 578
hadoop jar jar包位置 主类名 参数1（输入路径） 参数2（输出路径）$HADOOP_HOME/sbin/./start-all.sh #启动集群。docker exec -it hadoop1 bash #进入主节点。vi file1.txt#内容就是上面的file1.txt。vi file1.txt#内容就是上面的file1.txt。docker start hadoop1 #启动相应容器。cd /usr/file #没有则新建一个目录。cd /usr/file #没有则新建一个目录。
MapReduce实战-词频统计、文件合并排序
有一分热，发一分光。
05-05 7619
MapReduce编程初级实践，线上linux环境实操。 文章目录 环境搭建 词频统计 输入 源码 输出 合并 输入 源码 输出 排序 输入 源码 输出
最全MapReduce实战-词频统计、文件合并排序_mapreduc 词频统计排序，2024年最新2024最新软件测试大厂面试题来袭
2401_84563875的博客
05-11 379
hadoop伪分布式集群环境，包括设置JAVA_HOME、HADOOP_HOME等。可参考。
Hadoop实战——MapReduce对英文单词文本进行统计和排序（超详细教学，算法分析）
热门推荐
小袁同学的博客
11-10 1万+
用IDEA编写MapReduce程序，生成Jar包，启动Hadoop，执行Jar包程序，在HDFS文件系统中查看单词统计和排序结果
MapReduce初级案例
奋斗、
03-30 1121
1、数据去重 　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。 1.1 实例描述 　　对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 　　样例输入如下所示：      1）file1：
数据存储实验5-编写MapReduce程序实现词频统计.doc（实验报告）
10-21
数据存储实验5-编写MapReduce程序实现词频统计 本实验的主要目的是通过编写MapReduce程序来实现词频统计，熟悉Hadoop中的MapReduce模块的处理逻辑和编程。实验中，我们将使用Linux操作系统和Eclipse或Intellij Idea...
MapReduce实例 - 实现词频统计
weixin_47316344的博客
07-02 5638
一、MapReduce基础 ## MapReduce概述? 1、MapReduce是一个分布式计算框架 它将大型数据操作作业分解为可以跨服务器集群并行执行的 单个任务。 起源于Google 2、适用于大规模数据处理场景 每个节点处理存储在该节点的数据 3、每个job包含Map和Reduce两部分 4、MapReduce 的设计目标是方便编程人员在不熟悉分布式并行开发的情况下，将编写的程序运行在分布式系统上，从而降低了分布式开发的入门门槛。 MapReduce特点 优点 易于编程 可扩展性 高容错性
hadoop使用mapreduce统计词频_Hadoop基础-08-MapReduce词频统计
weixin_29122543的博客
01-17 811
定义Mapper实现WordCountMapper extends Mapperpublic class Mapper {......}KEYIN : mapping 输入 key 的类型，即每行的偏移量offset(每行第一个字符在整个文本中的位置)，Long 类型，对应 Hadoop 中的 LongWritable 类型；VALUEIN : mapping 输入 value 的类型, 即其实就...
hadoop使用mapreduce统计词频_MapReduce编程实战（1）--实现wordcount词频统计
weixin_30600605的博客
01-17 1429
摘要：一个WordCount单词统计程序为实例，详细演示了如何编写MapReduce程序代码以及如何打包运行程序。参考资料：1.创建maven项目创建maven项目，项目名hdfs ##这里我用的文章“java操作hdfs”的项目hdfspom.xml文件： //与文章“java操作hdfs”的项目一样。2.编写WordCount类在该项目包com.scitc.hdfs中新...
（功能测试）熟悉web项目及环境 测试流程
2301_79144798的博客
10-03 911
1.环境？有没有考虑过什么是环境？ web网站为什么能打开？ （是因为他的服务器已经在运行了，网站服务器相关环境已部署及运行） 所以什么是环境？ 环境：就是项目运行所需要的软件及硬件组合。 通过浏览器访问的项目--web项目：web架构：B/S架构（web项目） 客户端：C/S架构（app项目） 前台:普通用户使用系统的入口 后台：管理人员使用系统的入口
【黑马软件测试三】web功能测试、抓包
最新发布
weixin_45962681的博客
10-04 1478
是否支持回车/单机、快速多次点击是否重复提交表单、网络中断（弱网）提交、提交之后是否有提示、提交后内容是否加密、提交是否做权限校验控制、多人针对表单同时操作的场景测试。因为前面针对所有单个条件的搜索、两个组合的所有组合进行测试了，那么在这里选择2-3组三种组合进行测试即可。链接测试，表单测试，搜索测试，删除测试，cookies、session测试，数据库测试。1）开始时间<=结束时间，测试一个小时、跨时、当天、跨天、跨月、跨年的数据。2）任两个组合查询：确保任两个组合查询的正确性，验证两个组合的所有情况。
Django学习笔记三：QuerySet使用详解
软件行业技术文化交流。
10-02 264
Django的QuerySet是Django ORM中用于表示数据库查询结果集合的对象。它提供了丰富的方法来操作和查询数据库。
学习记录：js算法（四十九）：二叉树的层序遍历
weixin_48677331的博客
10-01 428
任重而道远！
10.2学习
2401_87363162的博客
10-02 1168
​ Spring AOP就是基于动态代理的，如果要代理的对象，实现了某个接⼝，那么Spring AOP会使⽤JDKProxy，去创建代理对象，⽽对于没有实现接⼝的对象，就⽆法使⽤ JDK Proxy 去进⾏代理了，这时候Spring AOP会使⽤基于asm框架字节流的Cglib动态代理 ，这时候Spring AOP会使⽤ Cglib ⽣成⼀个被代理对象的⼦类来作为代理。每个线程中都有一个自己的ThreadLocalMap类对象，可以将线程自己的对象保持到其中，各管各的，线程可以正确的访问到自己的对象。
Hadoop MapReduce实验：词频统计详解
在这个MapReduce实验中，主要目标是利用Hadoop框架下的MapReduce模型对文本数据进行词频统计。实验报告针对的是大数据技术课程，学生姓名为姚能燕，学号为2018764325，提交日期为2020年11月13日。实验在Linux操作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值