HBase MapReduce MultiTableInput首次测试

HBase 0.94.6版本引入了MultiTableInputFormatBase类,简化了MapReduce处理多个HTable和Scan的情况。尽管0.94.6存在致命错误,但通过在Scan的SCAN_ATTRIBUTES_TABLE_NAME属性中设置TableName,可以指示MapReduce从哪些表获取数据。本文介绍了如何使用这一特性,并提供了相关的MapReduce源码示例。
摘要由CSDN通过智能技术生成

在HBase上跑MapReduce有个很麻烦的问题:多HTable+多Scan作为Map的Input对象。以往都需要开发人员去写TableInputFormat类的重载方法。

HBase 0.94.6版本加入了一个新的Class::MultiTableInputFormatBase。(这里我提醒一下HBase 0.94.6有致命BUG,请用0.94.7)

这个方法可以帮助MapReduce开发人员快速实现多HTable+多Scan的Input。

MultiTableInputFormatBase的实现源于HBASE-3996:Support multiple tables and scanners as input to the mapper in map/reduce jobs

MultiTableInputFormatBase的加入的同时,补丁还调整了TableMapReduceUtil,并加入了以下方法:

//多输入方法
void org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil.initTableMapperJob(
	List<Scan> scans, 
	Class<? extends TableMapper> mapper, 
	Class<? extends WritableComparable> outputKeyClass, 
	Class<? extends Writable> outputValueClass, Job job
	) throws IOException

//单输入方法
void org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil.initTableMapperJob(
	String table, 
	Scan scan, Class<? extends TableMapper> mapper, 
	Class<? extends WritableComparable> outputKeyClass, 
	Class<? extends Writable> outputValueClass, Job job
	) throws IOException
多输入方法相比单输入方法的最大区别在于:去掉了Table Name的传入参数,取而代之的是一个List<Scan>

现在问题来了,新方法只有Scan,没有HTable名称。如何让MapReduce知道数据从哪几张表获取呢?

经过几番周折,我在MultiTableInputFormatBase.java源码的第116行找到了答案

      byte[] tableName = scan.getAttribute(Scan.SCAN_ATTRIBUTES_TABLE_NAME);
      if (tableName == 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
项目:使用AngularJs编写的简单 益智游戏(附源代码)  这是一个简单的 javascript 项目。这是一个拼图游戏,也包含一个填字游戏。这个游戏玩起来很棒。有两个不同的版本可以玩这个游戏。你也可以玩填字游戏。 关于游戏 这款游戏的玩法很简单。如上所述,它包含拼图和填字游戏。您可以通过移动图像来玩滑动拼图。您还可以选择要在滑动面板中拥有的列数和网格数。 另一个是填字游戏。在这里你只需要找到浏览器左侧提到的那些单词。 要运行此游戏,您需要在系统上安装浏览器。下载并在代码编辑器中打开此项目。然后有一个 index.html 文件可供您修改。在命令提示符中运行该文件,或者您可以直接运行索引文件。使用 Google Chrome 或 FireFox 可获得更好的用户体验。此外,这是一款多人游戏,双方玩家都是人类。 这个游戏包含很多 JavaScript 验证。这个游戏很有趣,如果你能用一点 CSS 修改它,那就更好了。 总的来说,这个项目使用了很多 javascript 和 javascript 库。如果你可以添加一些具有不同颜色选项的级别,那么你一定可以利用其库来提高你的 javascript 技能。 演示: 该项目为国外大神项目,可以作为毕业设计的项目,也可以作为大作业项目,不用担心代码重复,设计重复等,如果需要对项目进行修改,需要具备一定基础知识。 注意:如果装有360等杀毒软件,可能会出现误报的情况,源码本身并无病毒,使用源码时可以关闭360,或者添加信任。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值