MultipleInputs/MultipleOutpus

最新推荐文章于 2022-05-14 20:53:31 发布
最新推荐文章于 2022-05-14 20:53:31 发布
阅读量165 收藏
点赞数
分类专栏： Hadoop 文章标签： Mapreduce Hadoop 工作

仔细看了一下 Hadoop.MapReduce 的代码，发现了两个新类：MultipleInputs/MultipleOutpus，再仔细看它们的详细文档，的确实现了我想要的功能 ：

不同的InputPath，可是使用不同的InputFormat 和 Mapper

可以将不同类型（可能是多种计算）的结果写入不同的Reduce Output。

 

再看一下它们的实现代码，让我大失所望，MultipleInput 还行，没有白白折损效率的地方，MultipleOutput就太让我大跌眼镜了！简单的写一条记录出去，白白做的额外工作的耗时，可以写30条记录了。

 

多了解MapReduce的整体实现，可以考虑自己做一个更高效的MultiOutput。

Terark-CTO-雷鹏
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
示例-MapReduce-MultipleInputs用法
03-27
内含一个eclipse例子代码。 MultipleInputs完成多个Mapper和单个Reducer的组合。
multipleInput
simple008的博客
07-07 424
MultipleInputs处理多输入源，本例子包括 windows上的MySQL数据库数据和hdfs上的文本数据。 mysql数据： hdfs数据： [java] view plain copy  print? [root@baolibin ~]# hadoop fs -text /input/
hadoop 之 MultipleInputs--为多个输入指定不同的InputFormat和Mapper
Andrew的成长之路
11-01 4359
MultipleInputs 介绍默认情况下，MapReduce作业的输入可以包含多个输入文件，但是所有的文件都由同一个InputFormat 和 同一个Mapper 来处理，这是的多个文件应该是格式相同，内容可以使用同一个Mapper处理。但是，有可能这多个文件的数据格式不同，这是使用同一个Mapper来处理就显得不合适了。对于上述问题，MultipleInputs可以妥善处理，他允许对每条输入路
hadoop多文件格式输入（MultipleInputs）
luyaoguimeng的博客
02-21 583
转载自：http://blog.csdn.net/fansy1990/article/details/26267637 hadoop多文件格式输入，一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求：现有两份数据：phone：[plain] view plain copy 在CODE上查看代码片派生到我的代码片 123,good numbe
使用MultipleInputs和MultipleOutputs
weixin_30408165的博客
03-09 136
还是计算矩阵的乘积，待计算的表达式如下： S=F*[B+mu(u+s+b+d)] 其中，矩阵B、u、s、d分别存放在名称对应的SequenceFile文件中。 1)我们想分别读取这些文件（放在不同的文件夹中）然后计算与矩阵F的乘积，这就需要使用MultipleInputs类，那么就需要修改main()函数中对作业的配置，首先我们回顾一下之前未使用MultipleInputs的时候，对...
MultipleInputFormat:Map Reduce中多输入格式的使用
07-07
多输入格式 Map Reduce中多输入格式的使用 Multiple Input Format的主要用途是通过Map Reduce Programming处理两个或多个不同格式的... MultipleInputs.addInputPath(wcJob, new Path(args[0]), TextInputFormat.class,
SNMHadoopTest
07-08
为了利用 Hadoop 不可用的高级功能（据我所知）流式 A​​PI 功能，我选择提供一个纯 Java 解决方案（它提供了诸如 DBInputFormat、MultipleInputs、PartitionerClass、GroupingComparatorClass 等功能） ）。...
MultipleInputs用法
鲍礼彬的CSDN博客 ~_~
04-16 3116
MultipleInputs处理多输入源，本例子包括 windows上的mysql数据库数据和hdfs上的文本数据。 mysql数据： hdfs数据： [root@baolibin ~]# hadoop fs -text /input/hehe Warning: $HADOOP_HOME is deprecated. hello you hello me hel
hadoop MultipleInputs 的使用
chaoping315的专栏
03-26 5490
MultipleInputs 可以处理不同输入格式的数据， For example, we have two files with different formats: (1) First file format: VALUE (2) Second file format: VALUE ADDITIONAL In order to read
MultipleInputs.addInputPath注意点
iteye_423的博客
04-08 951
原创，转载请注明出处： 使用MultipleInputs.addInputPath添加多输入源（超过两个）的时候： [code="java"] MultipleInputs.addInputPath(conf, new Path(otheArgs[0]), TextInputFormat.class,JoinNodeMapper2.class); MultipleInputs.addI...
Hadoop源码详解之MultipleInputs类
说文科技，做有态度的研究。
01-09 688
Hadoop源码详解之MultipleInputs类 在讲解MultipleInputs之前，我们应该想想，为什么会有这个类的存在？ 数据的输入源并不一定总是同一种类型。例如，有的是.txt文件，而有的则需要从DB中读取。这时候一个Mapper类就无法解决问题了。 数据的输入源并不一定总是同一种格式。例如，尽管可能都是.txt文件，但有的数据是两列，有的是三列。在复杂的情况下，就可能导致需要使用...
java input multiple_[Hadoop] 通过MultipleInputs处理多输入文件
weixin_35664484的博客
02-16 249
一般MapReduce程序仅处理一个输入文件，但当我们必须处理多个输入文件时，普通MapReduce方法就无能为力了，这时候可以使用org.apache.hadoop.mapreduce.lib.input.MultipleInputs类搞定这一问题。MultipleInputs示例MultipleInputsDemo.java源码people.txt1,Tomas,12,Edward,23,He...
Hadoop-MultipleInputs实例<转>
yongjian_luo的专栏
08-16 861
MR程序： package org.forward.example.hadoop.multipleinputs; import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable;
Hadoop 实例14 MultipleInputs实战2：多文件输入执行join操作
陈先森~
09-09 1707
hadoop多文件格式输入，一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。1、需求:比如现在有如下的需求：现有两份数据：phone：123,good number 124,common number 125,bad number user：zhangsan,123 lisi,124 wangwu,125 现在需要把user和phone按照pho
Hadoop 实例15 MultipleInputs实战2：多种自定义文件格式的文件输入处理
陈先森~
09-09 1113
MultipleInputs 可以让MR支持多种输入格式。比如我们有两种文件格式，那么我们就需要有两套 Record Class, RecordReader和InputFormat。MultipleInputs需要不同的InputFormat， 一种InputFormat使用一种RecordReader来读取文件并返回一种Record格式的值，这就是这三个类型的关系，也是map过程中涉及的几个步骤的
Net contains multiple output sheet entrys problem
weixin_30478619的博客
06-29 1848
转载于：https://circuitmaker.com/forum/posts/212469/1#posts/212469 Altium Designer 多个输出相连等问题报错解决方法： http://www.cnblogs.com/klchang/p/4897526.html Aug 15 2015...
hadoop用MultipleInputs/MultiInputFormat实现一个mapreduce job中读取不同格式的文件
小桥
08-14 2036
hadoop中提供了 MultiOutputFormat 能将结果数据输出到不同的目录，也提供了 FileInputFormat 来一次读取多个目录的数据，但是默认一个job只能使用 job.setInputFormatClass 设置使用一个inputfomat处理一种格式的数据。如果需要实现 在一个job中同时读取来自不同目录的不同格式文件 的功能，就需要自己实现一个 MultiInput
AD_常见问题
Enjoy
03-19 2975
AD 18
Altium Designer 多个输出相连等问题报错解决方法
weixin_34272308的博客
10-23 4497
问题： Altium Designer软件中，项目编译时，Message面板出现，如下错误： Net NetR121_1 contains multiple Output Pins; PC10 contains Output Port and Bidirectional Port objects; EXP_IO1 contains Output Sheet Entry and Bid...
TensorRT使用自定义Plugin注意
space01的专栏
05-14 190
1. plugin中的enque的inputs、outpus解释 int RefineDetectorLayerPlugin::enqueue(int batchSize, const void* const* inputs, void** outputs, void* workspace, cudaStream_t stream)； inputs和outputs是一个数组，数组的内存储的是每一个输入或输出层的NCHW信息。 如果refinedet层，inputs有8个输入，则inputs是一..

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值