HBase实现表的连接操作-1_____MultipleInputs实现多Mapper和单Reducer的组合


在MapReduce架构中,有时候需要处理一种特殊情况:

    现在存在多个结构不同的数据文件,Job需要在这些数据文件中提取一些数据,并交给一个Reducer进一步处理。这种操作类似于关系数据库中的连接操作。在一个Mapper中根据输入文件名( 使用 Job.get("map.input.file") 获取 )来区分数据来源并分别处理,是一个解决办法,但有时需要一个更加彻底的办法,那就是MultipleInputs.

    MultipleInputs:
    This class supports MapReduce jobs that have multiple input paths with a different InputFormat and Mapper for each path.
    支持多个Mapper的输出混合到一个shuffle, 一个reducer, 其中每个Mapper拥有不同的InputFormat和Mapper处理类


0. Hadoop版本
    1.0.3是可以的。最新版本(1.0.4)未测试

使用MultipleInputs类实现MapReduce任务的步骤如下:
1. 首先根据不同的输入文件编写Mapper class
    不同文件结构和含义不同,Mapper class处理不同。
    所有Mapper需要输出相同的数据类型。
    对于输出value,需要标记该value来源,以便Reducer识别


2. Reducer class根据输入以及tag标记进一步处理数据
    Reducer接受数据为 key-value(包含tag)
    根据这些数据进一步处理。得到最终结果


示例:示例-MapReduce-MultipleInputs用法

“readme.txt"

1.输入
	file_1.txt
		编号tab国家名
	file_2.txt
		国家名tab首都名

2.处理过程
	MapA.class 处理file_1.txt
	MapB.class 处理file_2.txt
	Reduce.class处理最后结果,将国家名、编号和首都格式化为:"ID=%s\tcountry=%s\tcapital=%s"

3.输出结果:
	------------
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值