mapper排序_完成功能MapReduce驱动两个job、二次排序、求Url的topN

最新推荐文章于 2024-05-05 13:37:53 发布
最新推荐文章于 2024-05-05 13:37:53 发布
阅读量101 收藏
点赞数
文章标签： mapper排序
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39620578/article/details/112070501
版权
本文介绍了如何使用MapReduce实现二次排序以及求Url的TopN。通过实现RawComparator接口来完成排序功能，并详细讲解了job2的开发框架。
摘要由CSDN通过智能技术生成

“脑子里想法，总是想去代码实现”

//用mapreduce来实现下面需求？
//现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。
//方法一：
//        运用2个job，第一个job直接用filesystem读取10个文件夹作为map输入，url做key，
reduce计算url的sum，
//        下一个job map用url作key，运用sum作二次排序，reduce中取top10000000
//        1：首先进行wordcount计算
//        2：进行二次排序
//        如何启动两个job代码如下：

01

—

实现二次排序RawComparator接口

2f3a2addb59b7b9523a061e07ec60eae.png

他与WritableComparator和Deserializer的关系图

02

—

开发源码(job2开发只提供了框架)

package demo03;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.RawComparator;import org.apache.hadoop.io.Text;import org.apache.hadoop.io.WritableUtils;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob;import org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import java.io.IOException;import java.util.Arrays;import java.util.StringTokenizer;/**
 * @author 张泰
 * @Version v 1.0
最低0.47元/天 解锁文章
weixin_39620578
关注
MapReduce 归并排序利用之高效TopN案例
xiaohu21的博客
08-22 923
MapReduce 归并排序利用之高效TopN案例 1.MapReduce排序 根据mapreduce的内部机制可知，分区和排序贯穿整个过程。 maptask的key，value输出到环形缓冲区中， 每个maptask的数据从环形缓冲区溢写到临时文件， 相同maptask的临时文件合并为一个文件， reduce从maptask产生的文件中针对key进行分组提取。 这些排序，默认都是根据key来进行字符串升序排序，也就是ASCII码表的字母顺序升序排序。 2.问题 当需要对一个很大的分布式文件中数据
【MapReduce】扩展案例 ---- TopN（求取数据集前N名）_topn maprreduce
pasehelpme的博客
04-28 550
FileOutputFormat.setOutputPath(job, new Path(“G:\Projects\IdeaProject-C\MapReduce\src\main\java\第七章_MR扩展案例\TopN\output1”));FileInputFormat.setInputPaths(job, new Path(“G:\Projects\IdeaProject-C\MapReduce\src\main\java\第二章_Hadoop序列化\output”));// 获取job对象。
MapReduce-多个Mapper
weixin_30266829的博客
08-25 563
MapReduce的多输入、多mapper 虽然一个MapReduce作业的输入可能包含多个输入文件（由文件glob、过滤器和路径组成），但所有文件都由同一个InputFormat和同一个Mapper来解释。然而，数据格式往往会随时间而演变，所以必须写自己的mapper来处理应用中的遗留数据格式问题。或者，有些数据源会提供相同的数据，但是格式不同。这些问题可以用MultipleInputs类来妥...
MyBatis通用Mapper排序查询
小四是个程序猿的博客
06-02 4090
1、 Example example = new Example(TerminalType.class); //排序使用的是列名，数据库里面的列名 example.setOrderByClause("id DESC"); 2、 Example example = new Example(TerminalType.class); //排序使用的是列名，数据库里面的列名 example.orderBy('id').asc().orderBy('name').desc(); ASC是升序，DESC是降序，上面
mapper排序_MapReduce之Shuffle，自定义对象，排序已经Combiner
weixin_36263001的博客
12-11 465
1. Shuffle：MapReduce的计算模型主要分为三个阶段，Map， shuffle， Reduce。 Map负责数据的过滤，将文件中的数据转化为键值对，Reduce负责合并将具有相同的键的值进行处理合并然后输出到HDFS。 为了让Reduce可以并行处理map的结果，必须对Map的输出进行一定的排序和分割，然后交个Reduce，这个过程就是Shuffle。官方给的图如下：上图Map和Re...
通用Mapper中的排序，mybatis中使用example.setOrderByClause排序
Rockandrollman的博客
08-04 1万+
//查询即将结束的项目，根据结束时间排序 public List<ZczyItem> selectItemByendTime() { Example example = new Example(ZczyItem.class); Example.Criteria criteria = example.createCriteria(); //指定排序规则，参数1是数据库中的列名，参数二是排序规格，ASC升序，DESC降序，多个条件用逗号分隔
多MapReduce任务
ITwangnengjie的博客
11-27 327
在写HFile过程中： 1）因为存在相同rowkey的数据有很多，存在大的时间戳数据覆盖小的时间戳数据的情况； 2）还有如果全部数据都写成HFile，生成的HDFS数据集会很大，以本代码为案例，每次生成2T的数据量； 3）所有数据导入到HBase之后，HBase会根据HFile最大存储值进行SplitRegions。这会导致HBase表性能受限。 4）所有的数据覆盖处理，都由HBase的c...
大数据MapReduce学习案例：TopN
Python_XTyyds的博客
12-17 1631
大数据MapReduce学习案例：TopN
Mapreduce实现求每一个订单中成交金额最大的三笔，分组TOPN（排序控制、分区控制、分组控制）
SOARING
03-16 905
笔记待更新 数据为：订单号，用户id，产品名，价格，数量 package mapreduce.ordertopn; import java.io.IOException; import java.util.ArrayList; import java.util.Collections; import org.apache.hadoop.conf.Configuration; ...
Hadoop实战——MapReduce实现主播的播放量等数据的统计及TopN排序（第二篇）
最新发布
2401_84407867的博客
05-05 842
======在第一篇教学我们已经将主播的数据进行了初步的提取，但是数据看起来杂乱无章，这篇文章教大家如何对提取出来的数据进一步处理一、流程简介======第一篇提取好的数据如下：通过文本数据我们可以发现一个主播的id号有多条数据记录，那么我们要做的就是要把这些相同的id将他对应数据进行累计求和处理操作，同时对id进行一个升序操作，看起来更加整洁这次涉及到统计求和、排序等操作，用到了Reduce，整体项目流程如下：二、创建Maven工程项目（1）新建maven。
【MapReduce】Mapreduce基础知识整理 (五) 多Job串联、共同好友案例
人生所向，皆是美好
12-18 295
文章目录前言多job串联案例求共同好友 前言 一个任务中包含多个mapreduce任务（job）,多个job之间有相互的依赖关系的 需要进行多job串联 操作步骤: //将我们的普通的job转成Controlledjob //job.getCon/getLong... 都是来自job.xml ControlledJob cjob1=new ControlledJob(job1.getConf...
结合案例讲解MapReduce重要知识点 --------- 多个job之间有序执行
Z_Data的博客
11-11 667
每一个MapReduce程序都封装成一个job，而多个job之间呢？后一个job输入的数据，就是前一个job的输出的数据。 本节就是演示这种场景： 顺序执行 两个job执行是有先后顺序的 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoo...
MapReduce处理两个文件内不同行信息
Whlit_Lie的博客
04-16 1158
编程题2：找出两个文件的不同行 已知有两个文件people1.txt和people2.txt，两个文件中均为用户的信息，包含用户的姓名，身份证号，家庭住址，联系方式。请使用MapReduce程序找出两个文件数据中不同的行。 不同的行的判断标准： 1. 用户A的信息只在其中一个文件中，则需要输出用户信息及所在文件名。 2. 用户A的信息在两个文件中均存在，但是身份证号相同，而姓名、家庭住址和联系方式三个字段中至少有一个不同，则需要同时分别输出两个文件中的用户A信息 输出格式为： 用户信息 文件1-存在
【MapReduce】数据去重、多表查询、倒排索引、单元测试等案例编程
lys_828的博客
07-22 821
数据去重、多表查询、倒排索引、单元测试等案例编程1 数据去重2 多表查询3 倒排索引4 单元测试 1 数据去重 相当于实现SQL里面的distinct的功能。废话不说多，直接进行代码编程，创建一个demo.distinct的package，然后进行框架的搭建（框架里面包含Mapper、Reducer和执行的主程序三个文件），如下 首先开发Mapper程序，具体的代码如下（基本上之前都见过了，没啥区别） package demo.distinct; import java.io.IOException;
hadoop面试题
bluestinger的专栏
10-08 935
面试hadoop可能被问到的问题，你能回答出几个 ? 1、hadoop运行的原理? 2、mapreduce的原理? 3、HDFS存储的机制? 4、举一个简单的例子说明mapreduce是怎么来运行的 ? 5、面试的人给你出一些问题,让你用mapreduce来实现？       比如:现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top10
Java使用数据流DataInputStream和DataOutputStream
Harris-H的博客
11-03 822
Java使用数据流DataInputStream和DataOutputStream 流程： 1.使用数据输出流，写入数据。 2.使用数据输入流进行读入。 package Exp7; import java.io.DataInputStream; import java.io.DataOutputStream; import java.io.FileInputStream; import java.io.FileOutputStream; public class DataStreamUse {
SpringBoot集成Hadoop系列二 ---- MapReduce数据的分组统计,排序
汉南最後の読書人
05-23 2132
代码: package com.hadoop.reduce.model; import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; /** * 分组排序model类 * @author ...
Mybatis，Order By排序问题
热门推荐
Dream it Possible
11-03 15万+
曾写过一篇博客，是接触了一段时间的mybatis开发总结的：《Mybatis，怀疑--使用--感悟》。又过去了一段时间，前不久和别人联调接口，遇到了mybatis的排序问题。这篇博客就来总结一下，在mybatis框架下，如何实现排序？     排序，是个很基础的需求。实现的时候只需要在查询语句后面加上order by 某个字段即可。在mybatis中，用工具可以帮助我们自动生成底层的一套东西，便
【Mapreduce】利用job嵌套，多重Mapreduce，求解二度人脉
编程记录，亲测有效
02-03 5088
与《【Mapreduce】利用单表关联在父子关系中求解爷孙关系》（点击打开链接）一样的键值对。 Tom Lucy Tom Jack Jone Lucy Jone Jack Lucy Mary Lucy Ben Jack Alice Jack Jesse Terry Alice Terry Jesse Philip Terry Philip Alma Mark Terry Mark Alma 只
使用Hadoop新API实现TopN：查找出现最频繁的20个词
"这篇文章主要介绍了如何使用Hadoop的新API实现基于MapReduce的TopN功能，即找出数据集中出现频率最高的N个元素。作者通过多Job级联的方式，以找到文件中出现频率最高的20个词为例，展示了Hadoop处理大数据问题的一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值