MapReduce之----往hbase数据库写入数据时, 出现数据异常

最新推荐文章于 2022-11-30 22:13:16 发布

_Karl

最新推荐文章于 2022-11-30 22:13:16 发布

阅读量738

点赞数

分类专栏： hbase

本文链接：https://blog.csdn.net/txd751466382/article/details/80778772

版权

在使用MapReduce将数据写入HBase时，发现数据异常，rowkey长度不一致。问题出在Mapper中，`Put put = new Put(key.getBytes());`这行代码。解决方案是将`ImmutableBytesWritable`的创建方式改为与key输出类型一致，避免Text.getBytes()带来的动态补全问题。分析表明，Text.getBytes()会根据前一次字节数组长度动态调整，而String.getBytes()则保持原始长度。

摘要由CSDN通过智能技术生成

问题 :

写入HBase的数据不对

如

读入的数据是

hello   nihao   hadoop  hehe    byebye
hello   nihao   hadoop
spark   scale

存入数据库就成了

hbase(main):038:0> scan 't_user2'
ROW                   COLUMN+CELL                                                  
 byebye               column=MR_column:wordcount, timestamp=1529670719617, value=1 
 hadoop               column=MR_column:wordcount, timestamp=1529670719617, value=2 
 heheop               column=MR_column:wordcount, timestamp=1529670719617, value=1 
 hellop               column=MR_column:wordcount, timestamp=1529670719617, value=2 
 nihaop               column=MR_column:wordcount, timestamp=1529670719617, value=2 
 scalep               column=MR_column:wordcount, timestamp=1529670719617, value=1