用一个MapReduce输出多个key的分区文件

最新推荐文章于 2022-08-21 20:02:27 发布
最新推荐文章于 2022-08-21 20:02:27 发布
阅读量1.3k 收藏 5
点赞数 2
分类专栏： 大数据 Hadoop 文章标签： MapReduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43345864/article/details/84889874
版权
本文介绍了一个MapReduce任务，该任务处理包含主叫号码、被叫号码、通话时间和通话时长的数据，根据通话日期的年、月、日进行分区，统计通话时长和次数。代码实现中忽略了被叫号码的通话时长，只针对主叫号码进行统计，最终生成了按日、按年、按月三个分区文件。
摘要由CSDN通过智能技术生成

先看一下要处理的数据类型

19392963501,17816115082,2018-09-18 16:19:44,1431
14081946321,13094566759,2018-05-23 09:34:27,0610
13415701165,18939575060,2018-11-23 21:33:23,1031
15590483587,16303009156,2018-08-02 07:38:00,0487
15539613975,17882324598,2018-10-19 09:08:15,0948
数据字段分别为主叫号码，被叫号码，通话时间，通话时长
我们的需求是：将数据按号码的通话日期的年，月，日分别计算时长和次数，用一个MapReduce实现，在这里我处理的时候是忽略被叫号码的通话时长，仅以主叫号码为例。

代码部分

package mapReducePhone;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Partitioner;
import org.apache.hadoop.mapreduce.Reducer;
最低0.47元/天 解锁文章
魂落忘川犹在川
关注
专栏目录
MapReduce在Map端按key排序，自定义排序方法Comparator
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
11-13 1723
默认情况下，Map端会对map的输出结果按照key升序排列，同时也可以自定义排序方法。 import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import org.slf4j.Logger; import org...
5 mapreduce的组合，排序，分组
bcsix的博客
11-15 637
mapreduce的组合，排序，分组在使用mapreduce处理数据时，总有种“简单，粗暴”的感觉，就像一个傻大个一样。为了能更加灵活的处理分析数据，以及将这个傻大个使用的更加得心应手，今天总结下这位傻大个在处理数据时使用的自身的一些组件。1.combiner（组合）当然可能大家已经非常熟知了，我在这里就不卖弄了，简单的解释一下使用它的优势，为大家灌个耳音，combiner的作用是组合map阶段生成
MapReduce输出结果到多个文件
Searcher_Recommeder的博客
11-04 2911
利用MultipleOutputs可以方便的实现将结果按自己的要求输出到不同的文件，方法简单， 1,直接在map或reduce中加入类似如下的代码， 3,用mos.write替换以前的context.write 3,在main中利用MultipleOutputs.addNamedOutput(job, "shortkey", TextOutputFormat.class, Text.class, IntWritable.class);添加输出路径。
MapReduce尝试在一个map方法中封装多个key
weixin_43540084的博客
08-21 694
当前统计单个用户通话信息已经封装了一个自定义key,AnalysisKey（属性值为tel和date），自然想到再封装一个新的自定义key,AnalysisIntimacyKey（属性值caller,callee,date）。但map方法或者reduce方法中都是只能返回一种key和value，因此如果直接在一个map()中封装另一个自定义key的话，map的返回值key会不知道指定哪个。
MapReduce Java API-使用Partitioner实现输出到多个文件
BADAO_LIUMANG_QIZHI的博客
08-06 505
场景 MapReduce Java API-多输入路径方式： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119453275 在上面的基础上，怎样用Partitioner的方式实现将学生的成绩数据 分段输出到不同的文件。 例如分为三个成绩段： 小于60分 大于等于60分小于等于80分 大于80分 Partitioner 1、Partion发生在Map阶段的最后，会先调用job.setPartitionerClass对
MapReduce分组输出到多个文件
chuxingbubian的博客
11-26 1946
数据如下： 需要把相同订单id的记录放在一个文件中，并以订单id命名。 （2）实现思路 这个需求可以直接使用MultipleOutputs这个类来实现。 默认情况下，每个reducer写入一个文件，文件名由分区号命名，例如’part-r-00000’，而 MultipleOutputs可以用key作为文件名，例如‘Order_0000001-r-00000’。 所以，思路就是map中处理每条记录...
Hadoop的分割程序的例子。程序显示我们如何在Hadoop的MapReduce程序使用一个分区.zip
最新发布
11-15
在描述中提到的“如何在Hadoop的MapReduce程序使用一个分区”意味着我们要了解如何在Java代码中实现自定义的Partitioner类。下面是一个基本的步骤： 1. **创建自定义Partitioner**： 首先，你需要创建一个新的Java...
大数据与云计算培训学习资料 Hadoop的MapReduce中多文件输出 共9页.pdf
03-20
在Hadoop 0.19.x版本中，提供了一个名为`MultipleOutputFormat`的类，它允许MapReduce任务输出多个文件并自定义文件名。但是，从Hadoop 0.20.x开始，`MultipleOutputFormat`及其所在包的类被标记为"已过时"，这意味...
17、MapReduce的分区Partition介绍
05-29
数据分区是MapReduce工作流程中的关键步骤，特别是当系统配置了多个 Reduce Task 时。默认情况下，如果只有一个 Reduce Task，所有 Map Task 的输出都将汇总到这一个任务中。但随着 Reduce Task 数量的增加，Map ...
MapReduce的分组
qq_42636010的博客
05-11 1957
一： MapReduce的分组其实就是把相同的key合并到一起 比如 hadoop 1 hadoop 1 hadoop 1 分组后变成 hadoop <1，1，1> 所以Reducer类的reduce的方法的参数是map传出的key和value的迭代器，这个迭代器就是 <1，1，1> 那么问题来，他是怎么比较key是否相同的，一开始我以为是key的equal方法，但是偶...
MapReduce多路径输入单文件输出
我可能在扯淡
06-30 617
做Mapreducer练习时碰到一个问题:清洗5天的日志 分析 由于五天日志是五个不同的文件,setInputPaths方法,传入两个不同的路径,最后输出到hadoop文件系统会被后一个覆盖，所以应该传入路径的数组就行了 代码如下(两个文件为例) Path[] paths = {new Path("hdfs://liquanhong1:9000//localhost_access_log.
MapReduce高级-合并、分区
qq_29305191的博客
09-20 264
分区 多个分区，有多个文件 分区类型 范围分区 列表分区 散列分区 范围-散列 范围-列表 散列分区：(Hive 桶表) 避免热库的产生MapReduce实例 　　使用MR实现一个分区：根据员工的部门号，将相同部门号的员工分到一分区 要点：在Mapper的输出创建分区 即对k2 v2进行操作 创建一个序列化对象 Employee package demo.partition;...
MapReduce框架 当javaBean作为key时 自定义分组规则一定要将排序字段作为分组的字段 否则分组可能会失效。
ao_li_ao_的博客
09-12 198
以手机流量统计案例举例分析： 原始文件格式： 手机号（phone）： 上行流量（upFlow） 下行流量（downFlow） 总流量（sumFlow） 13865424521 100 100 200 13548796531 200 ...
MapReduce自定义输入格式 完成统计任务并输出多个文件
lrf2454224026的博客
08-27 457
/*通过五大视频网站数据，分析统计节目受欢迎度 注意：1-5数字和5大视频的关系：1优酷2搜狐3土豆4爱奇艺5迅雷看看 */   第一步：定义一个电视剧热度数据的tvPlayWritable.java。 package com.hadoop.MapReduce; import java.io.DataInput; import java.io.DataOutput; import...
MapReduce根据不同要求将结果输出不同命名文件
heihei2017的博客
07-22 626
MapReduce默认输出的文件命名为part-0000。日常业务开发情况需要根据不同的结果文件名，来辨认不同输出需求数据，因此，默认输出格式不足以满足需求。我们需要对MapReduce的文件输出做特殊的设置。 一、job端 MultipleOutputs.addNamedOutput(job,"corpInfo",TextOutputFormat.class,Text.class,Text.class); MultipleOutputs.setCountersEn..
MapReduce之partition按照key值分区
星辰大数据的博客
10-12 1279
1、设置Partitioner类和reducer个数 job.setPartitionerClass(MyPartitioner.class); job.setNumReduceTasks(3); 2、编写Partitioner类 /* * 对mapper的结果进行分区，让多个reducer分别对多个partition文件并行处理 */ private static cla...
大数据知识专栏 - MapReduce 的自定义分组求TopN
能力工场小马哥
01-28 285
大数据专栏系列文章: 通过该文章, 教会如何在 MapReduce 中使用自定义分组技术求取TopN.
Mapreduce中map方法自定义key类
lqf的专栏
01-25 3014
为map方法的key构造一个复合类public static class IntPair implements WritableComparable<IntPair> { int first; int second; /** * Set the left and right values. */
自定义Hadoop MapReduce多文件输出实现
实现多文件输出的一个关键步骤是在Mapper或Reducer中使用`context.write()`方法时，提供一个自定义的Key。这个Key不仅包含数据本身，还包含决定输出文件名的信息。例如，Key可以是一个复合类型，其中一部分表示单词...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值