hbase bulkload java,HBase Bulkload 失败问题处理以及改进

最新推荐文章于 2024-08-01 04:39:02 发布

weixin_39945679

最新推荐文章于 2024-08-01 04:39:02 发布

阅读量811

点赞数

文章标签： hbase bulkload java

本文介绍了在HBase Bulkload过程中遇到的由于客户端缺少snappy本地库导致的导入失败问题，并提出了一个简单的改进方案：允许在客户端设置压缩格式，以避免依赖特定本地库。此外，该改进还有助于性能提升和数据异构存储策略的实施。

摘要由CSDN通过智能技术生成

某天某应用找到我，说线上 bulkload 导入数据到 HBase 失败

check 了一下 MR 日志，报错如下

org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.groupOrSplitPhase(LoadIncrementalHFiles.java:591)|||IOException during splittingjava.util.concurrent.ExecutionException: org.apache.hadoop.hbase.io.hfile.CorruptHFileException: Problem reading HFile Trailer from file hdfs://******/*****/f1/2adb6a82818642aca73daf999063f655at java.util.concurrent.FutureTask.report(FutureTask.java:122)at java.util.concurrent.FutureTask.get(FutureTask.java:188)at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.groupOrSplitPhase(LoadIncrementalHFiles.java:584)at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.doBulkLoad(LoadIncrementalHFiles.java:440)at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.d