Mapreduce 结果写入Hbase两种方法对比

最新推荐文章于 2021-12-19 21:48:38 发布

d344498093

最新推荐文章于 2021-12-19 21:48:38 发布

阅读量886

点赞数

分类专栏：大三暑期实习（有关于Hadoop）

本文链接：https://blog.csdn.net/d344498093/article/details/7909623

版权

本文对比了两种将MapReduce结果写入Hbase的方法：直接使用Hbase写入接口和通过TableReducer。虽然两者效率都不高，但TableReducer在性能上优于直接写入接口。同时提到了从Hbase读取数据的tableMapper接口，以及Hbase信息筛选的两种策略，但未进行性能测试。

摘要由CSDN通过智能技术生成

由于能力有限，对性能的评价皆出于主观感受，见谅。

方法一：通过Hbase提供的写入接口

在setup中配置Hbase信息，检测表是否存在，不存在创建表；在reduce函数中，调用table.put(put1)方法把结果写入到Hbase中

public class hbaseStatisticsReducer extends Reducer<Text, Text, Text, Text> {

	public static String tablename = "statistics";
	public static String[] cfs = { "data" };
	public static Configuration conf = new Configuration();

	@Override
	protected void setup(Context context) throws IOException {

		conf = context.getConfiguration();

		conf.set("hbase.rootdir", "hdfs://localhost:9000/hbase");
		conf.set("hbase.zookeeper.quorum", "localhost");
		conf.set("hbase.zookeeper.property.clientPort", "2181");

		HBaseAdmin admin = new HBaseAdmin(conf);
		if (admin.tableExists(tablename)) {
		} else {
			HTableDescriptor tableDe