MR程序编写

最新推荐文章于 2021-08-24 11:44:28 发布

kangpeng1107

最新推荐文章于 2021-08-24 11:44:28 发布

阅读量4.4k

点赞数

分类专栏： Hadoop Hbase linux

本文链接：https://blog.csdn.net/asdfgggggggg/article/details/52163399

版权

本文介绍了一个使用MapReduce处理HBase中多张表的项目，详细阐述了如何在MR中读取多张表，利用TableMapReduceUtil初始化任务。在处理相同行键和列族的表时，通过时间戳实现数据区分。此外，讨论了MR运行过程中的shuffle阶段和Combine操作，以及CSV文件的读取和Excel导入方法。最后强调了配置参数在job定义前的添加重要性。

摘要由CSDN通过智能技术生成

做了一个有关于读取三张hbase表处理进行统一处理的项目：

（1）MR中读取多张表：TableMapReduceUtil.initTableMapperJob()支持对多张scan组成的list，每个scan是对每张表的浏览，其中scan又可以对表进行过滤类似于hbase。

<span style="font-size:14px;">List scans = new ArrayList<>();
		
Scan scan1 = new Scan();
scan1.setAttribute(Scan.SCAN_ATTRIBUTES_TABLE_NAME, "7111".getBytes());
scans.add(scan1);
		
Scan scan2 = new Scan();
scan2.setAttribute(Scan.SCAN_ATTRIBUTES_TABLE_NAME, "8111".getBytes());
scans.add(scan2);
	
Scan scan3 = new Scan();
scan3.setAttribute(Scan.SCAN_ATTRIBUTES_TABLE_NAME, "9111".getBytes());
scans.add(scan3);

TableMapReduceUtil.initTableMapperJob(scans, MyMapper.class, Text.class, Text.class, job);</span>

（2）在Hbase中不同的表有相同的行健，可以存在相同的列族