Hbase整合MapReduce两个注意的地方

一、通过javaAPI插入数据到HBase时,HBase里scan出来的数据乱码,如下代码:

Put put = new Put(Bytes.toBytes(key.get()));

我这里的key是Map阶段的输入key,格式为LongWritable,插入数据后,Hbase对应表的rowkey出现了乱码。
解决方法:

Put put = new Put(Bytes.toBytes(key.toString()));

类似的,对于int,double同样需要先转为String,否则会乱码

二、***********.jar is not a valid DFS filename
出错代码如下:

TableMapReduceUtil.initTableMapperJob("example", scan, 
                MyMapper.class, Text.class, Text.class, job);
TableMapReduceUtil.initTableReducerJob("row", MyReduce.class, job);

原因:没有区分本地文件系统与Hadoop集群文件系统
修改:

TableMapReduceUtil.initTableMapperJob("example", scan, 
                MyMapper.class, Text.class, Text.class, job,false);
TableMapReduceUtil.initTableReducerJob("row", MyReduce.class, job,null,null,null,null,false);

就是添加后面的false参数,使得区分本地文件系统与Hadoop集群文件系统

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值