MapReduce之输入输出类型

最新推荐文章于 2022-10-03 13:43:01 发布
VIP文章 最新推荐文章于 2022-10-03 13:43:01 发布
阅读量4.1k 收藏 2
点赞数
分类专栏： Hadoop MapReduce 文章标签： mapreduce hadoop processing 读书 算法 编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lucktroy/article/details/7957120
版权

话说用hadoop MapReduce编程有一阵子了，但是关于Mapper, Combiner, Reducer的输入输出类型居然花了我一整天。

我本以为Combiner的输入与Mapper的输出一致，Combiner的输出与Reducer的输入一致就可以了，就像图1：


图1 假想

我的程序Mapper输出是<Text, DoubleWritable>; Combiner的输入输出分别是<Text, DoubleWritable>, <Text, Text>; 然后Reducer的输入是<Text, Text>. 

我本想逻辑上都没问题，但事与愿违，老出错. 

在hadoop中，默认的job.setOutputkeyClass(*.class), job.setOutputValueClass(*.class)是针对Mapper与Reducer的，这里因为两者不同，我试着用job.setMapOutputKeyClass(*.class)与

最低0.47元/天 解锁文章
lucktroy
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Twister编译及安装 [多节点方式]
lucktroy的专栏
04-05 2136
注：该流程也适用单节点模式, 设置ip及工作节点的时候设置本节点即可. 1. Twister设置 1.1 设置Twister路径，编辑~/.bashrc [注: 最好是这个文件，本人也试过在.bash_profile, 但之后运行就出错了，不知道为什么！] export TWISTER_HOME =/home/username/TWISTER 1.2 编辑Twster/bin/twis
MapReduce的类型与格式
Saikikky的博客
12-26 1387
MapReduce的类型 一般来说，map函数的输入的键值对类型(K1,V1)不同于输出类型(K2,V2)，但reduce函数的输入类型必须与map函数的输出类型相同，但reduce函数的输出类型(K3,V3)可以不同于输入类型。 如果使用combiner函数，它与reduce函数形式相同，不同之处是它的输入类型是中间的键-值对类型(K2,V2)，这些中间值可以输入reduce函数如下图： ...
MapReduce输入输出类型对应关系
小虾米的专栏
12-08 878
如图Mapper的输出类型要和Combiner的输入类型对应； Combiner的输出类型要和Reducer的输入类型对应； Mapper的输出类型要和Reducer的输入类型对应； 如果没有单独设置Mapper的输出类型，则和Reducer一样都受如下配置信息控制。 job.setOutputKeyClass(Text.class); job.setOutput
MapReduce 中 map 和 reduce 数量之间的关系
HeatDeath的博客
01-09 3227
① Map 的数量通常是由 Hadoop 集群的数据块大小（输入文件的总块数）确定的，正常的 Map 数量的并行规模大致是每一个 Node 是10~100个。② 正常Reduce任务的个数应该是0.95或者1.75*（节点数*CPU数量）。（1）如果任务数是节点个数的0.95倍，那么所有的Reduce任务能够在 Map任务的输出传输结束后同时开始运行。（2）如果任务数是节点个数的1.75倍，那么高速
Hadoop MapReduce输入输出类型
weixin_30462049的博客
06-27 432
一、输入格式 　　1、输入分片split 　　　　　　一个分片对应一个map任务； 　　　　　　一个分片包含一个表（整个文件）上的若干行，而一条记录（单行）对应一行； 　　　　　　分片包含一个以字节为单位的长度 和 一组存储位置，分片不包含实际的数据； 　　　　　　map处理时会用分片的大小来排序，优先处理最大的分片； 　　hadoop中Java定义的分片为InputS...
MapReduce中的Combiner
凉茶铺的博客
10-03 834
介绍了MapReduce中的Combiner组件
MapReduce学习笔记一
weixin_44585687的博客
04-07 125
一、概述 Map-reduce 自己处理业务相关代码+自身的默认代码 优点: 1、易于编程。只关心业务逻辑和实现框架的接口 2、良好拓展行：可以动态增加服务器 3、高容错性：任何一台机器挂掉，可以将任务转移到其他节点 4、适合海量数据计算（TB/PB）几千台服务器共同计算 缺点： 1、不擅长实时计算。 MySQL 2、不擅长流式计算。 Spark steaming flink 3、不擅长DAG有向无环图 spark 编程规范 用户编写的程序分为3步：mapper、reducer和Driver 1.mappe
MapReduce数据流（二）
weixin_30485799的博客
01-11 406
　　接上一篇：MapReduce数据流（一）　　 　　输入块（InputSplit）：一个输入块描述了构成MapReduce程序中单个map任务的一个单元。把一个MapReduce程序应用到一个数据集上，即是指一个作业，会由几个（也可能几百个）任务组成。Map任务可能会读取整个文件，但一般是读取文件的一部分。默认情况下，FileInputFormat及其子类会以64MB（与HDFS的Block默...
MapReduce类型与格式(输入与输出)
weixin_34080571的博客
10-13 649
一、输入格式 （1）输入分片记录 ①JobClient通过指定的输入文件的格式来生成数据分片InputSplit； ②一个分片不是数据本身，而是可分片数据的引用； ③InputFormat接口负责生成分片； 源码位置：org.apache.hadoop.mapreduce.lib.input包(新)           org.apache.hadoop.mapred.lib 包(旧) 查看其中F...
MapReduce输入输出类型、格式及实例
热门推荐
吃果冻不吐果冻皮
06-14 1万+
输入格式1、输入分片与记录 2、文件输入 3、文本输入 4、二进制输入 5、多文件输入 6、数据库格式输入1、输入分片与记录1、JobClient通过指定的输入文件的格式来生成数据分片InputSplit。 2、一个分片不是数据本身，而是可分片数据的引用。 3、InputFormat接口负责生成分片。InputFormat 负责处理MR的输入部分，有三个作用: 验证作业的输入是否规范
大数据学习之十——MapReduce代码实例：数据去重和数据排序
weixin_30802273的博客
01-29 374
***数据去重*** 目标：原始数据中出现次数超过一次的数据在输出文件中只出现一次。 算法思想：根据reduce的过程特性,会自动根据key来计算输入的value集合，把数据作为key输出给reduce,无论这个数据出现多少次，reduce最终结果中key只能输出一次。 1.实例中每个数据代表输入文件中的一行内容，map阶段采用Hadoop默认的作业输入方式。将value设置为ke...
02.mapreduce数据输入输出类型的序列化问题--明确jobsubmitter.mp4
04-29
02.mapreduce数据输入输出类型的序列化问题--明确jobsubmitter.mp4
MapReduce类型及格式
07-30
本文对MapReduce中的数据处理模型进行整体说明，分别对输入和输出的各种类及可口进行讲解，从而可以处理比如文件不分片，非文本文件，多个文件合并等问题
MapReduce
02-18
输入是一个csv文件starbucks-locations.csv，输出应该是一个文件cityInformation，其中每行代表一个城市以及该城市中的星巴克数量。 第2部分：倒排索引 您将建立一个倒排索引，该索引支持基于电影流派的电影查询。 ...
MapReduce处理流程
01-20
一个 MapReduce 作业的输入和输出类型如下图所示：可以看出在整个标准的流程中，会有三组键值对类型的存在。 MapReduce 的处理流程 mapper执行过程  第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑...
Mapreduce实验报告.doc
03-10
面对一个规模庞大的问题，要 处理是以TB计的数据，Mapreduce采用"输入"------"分解"------"解决"----- -"聚合"------"输出结果"的基本过程。 2. 基本原理 Map和Reduce是两个核心操作，用户定义的map函数接收被切割过...
Stanford大学的Phoenix系统（单机多核MapReduce应用）
lucktroy的专栏
12-11 3372
一、简介： 1、Phoenix是在共享内存的体系结构上的MapReduce实现。它的目标是在多核平台上，使程序执行得更高效，而且使程序员不必关心并发的管理。事实上并发管理，尽管是经验丰富的程序员，也难免在这上面出错。 2、Phoenix由一组对程序应用开发者开放的简单API和一个高效的运行时组成。运行时系统处理程序的并发、资源管理和错误修复， 它的实现是建立在P-thread之上的，当然也
hadoop命令行打jar包
lucktroy的专栏
08-04 2664
javac -classpath "/home/lucktroy/Program/hadoop-0.20.204.0/hadoop-core-0.20.204.0.jar:/home/lucktroy/Program/hadoop-0.20.204.0/lib/commons-cli-1.2.jar" ./wc0.20/*.java -d . jar -cf ./wc0.20.jar swjtu/
mapreduce数据类型转换注意事项
最新发布
05-21
1. 输入输出类型要匹配：MapReduce 中，输入和输出的数据类型必须要匹配，否则可能会出现错误。比如，如果 Mapper 的输出类型是 IntWritable，那么 Reducer 的输入类型也必须是 IntWritable。 2. 自定义类型需要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值