bulkload写入Hbase导致 Region in transition问题解决

问题描述:
本人由于HbaseBulkloader方式写数据至hbase存储路径错误,导致Region in transition

//1
val Array(dataType, tableName, family, inputDir, outputDir)
    = Array("1", "A", "FC", "/warehouse/A", "/apps/hbase/data/data/default/A")
......
//2
keyValuesRDD.saveAsNewAPIHadoopFile(
     outputDir,
     classOf[ImmutableBytesWritable],
     classOf[KeyValue],
     classOf[HFileOutputFormat2],
     conf
   )
......
//3
val load = new LoadIncrementalHFiles(conf)
    load.doBulkLoad(outputPath, conn.getAdmin, table,
      conn.getRegionLocator(htableName))
  1. 原来代码中读取hive表存储路径下文件生成RDD /warehouse/A
  2. 然后再写入outputDir地址下/apps/hbase/data/data/default/A 生成hfile文件
  3. 最后再将hfile文件加载至hbase表中

“/apps/hbase/data/data/default/A” 次路径为hbase存储路径,生成hfile文件时覆盖掉创建hbase表时目录下生成的
在这里插入图片描述
导致虽然当时数据可以查询,但是过一段时间 region信息丢失 导致regionserver挂掉,表中数据丢失


解决办法:
只要将saveAsNewAPIHadoopFile API中outputDir 改为其它路径,不影响hbase表存储的信息即可,
例如:

val Array(dataType, tableName, family, inputDir, outputDir)
    = Array("1", "A", "FC", "/warehouse/A", "/tmp/hbase/A")
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值