hbase bulkload java,HBase Bulkload 失败问题处理以及改进

最新推荐文章于 2023-02-01 11:45:00 发布
最新推荐文章于 2023-02-01 11:45:00 发布
阅读量783 收藏
点赞数
文章标签： hbase bulkload java

08ff7eb56ce4ceb64bab6d4fa6a441e2.gif

某天某应用找到我，说线上 bulkload 导入数据到 HBase 失败

check 了一下 MR 日志，报错如下

org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.groupOrSplitPhase(LoadIncrementalHFiles.java:591)|||IOException during splittingjava.util.concurrent.ExecutionException: org.apache.hadoop.hbase.io.hfile.CorruptHFileException: Problem reading HFile Trailer from file hdfs://******/*****/f1/2adb6a82818642aca73daf999063f655at java.util.concurrent.FutureTask.report(FutureTask.java:122)at java.util.concurrent.FutureTask.get(FutureTask.java:188)at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.groupOrSplitPhase(LoadIncrementalHFiles.java:584)at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.doBulkLoad(LoadIncrementalHFiles.java:440)at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.

最低0.47元/天 解锁文章
weixin_39945679
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark通过 BulkLoad 方式 海量数据 写入hbase
yy的博客
01-15 455
spark hbase bulkLoad
Hbase环境部署以及HFile文件导入HBase
An_air的博客
10-19 994
Hbase环境部署 1.vi /etc/profile export HBASE_HOME=/opt/programs/hbase-1.2.7 export PATH=$PATH:$HBASE_HOME/bin 2.vi conf/hbase-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_25 #Java安装路径 export HBASE_CLASSP...
【HBase高级】3. HBase批量装载——Bulk load（1）Bulk load简介与案例介绍
最新发布
CSDNGuoYuying的博客
02-01 1820
很多时候，我们需要将外部的数据导入到HBase集群中，例如：将一些历史的数据导入到HBase做备份。我们之前已经学习了HBase的Java API，通过put方式可以将数据写入到HBase中，我们也学习过通过MapReduce编写代码将HDFS中的数据导入到HBase。但这些方式都是基于HBase的原生API方式进行操作的。这些方式有一个共同点，就是需要与HBase连接，然后进行操作。HBase服务器要维护、管理这些连接，以及接受来自客户端的操作，会给HBase的存储、计算、网络资源造成较大消耗。
HBase ImportTsv导入数据
世界那么大，我想去看看！
08-10 6816
一、HBase介绍HBase是Apache Hadoop中的一个子项目，依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的命令就可以看到HBase数据存储文件夹的目录结构,还可以通过Map/Reduce对HBase进行操作。HBase是一个适合于非结构化数据存储的数据库.所谓非结构化数据存储就是说HBase是基于列的而不是基于行的模式。HBase是介于Map Entry(ke
SpringCloud中Feign进行服务调用 java.io.IOException: too many bytes written 问题解决
一个任的博客
03-03 3081
问题描述 Spring Cloud 中通过 Feign 调用微服务时，报错：java.io.IOException: too many bytes written 问题来源 在 Feign 调用拦截器里，当传递头header时，写入的头数据内容过大 解决方法 主要是修改 Feign 拦截器： 可以只传递请求token，利用 request.getHeader(HttpHeaders.AUTHORIZATION) 判断接口认证token不为空才传递 去除 content-length 的传递 这里我
MR程序Bulkload数据到hbase
03-12
标题中的“MR程序Bulkload数据到hbase”指的是使用MapReduce（MR）程序批量加载（Bulkload）数据到HBase数据库的过程。MapReduce是Apache Hadoop框架中的一个关键组件，用于处理和生成大规模数据集。而HBase是一个...
hbase-bulkload
05-13
hbase批量加载 从RCFile进行HBase批量加载的临时代码 这将使用LoadIncrementalFiles从HFileOutputFormat2中Mapreduce写入的数据中加载HBase表。
Parquet-Hbase-bulkload-Put-Buffered-example:通过使用 WAL 和缓冲的 Put 从 Hdfs 文件中摄取 HBase 记录
06-29
通过使用 WAL 和缓冲的 Put 从 Hdfs 文件中摄取 HBase 记录 通过 WAL（使用 Put）将具有 ... 请注意，有时需要 addDependencyJars，以便映射器运行的节点获取处理 Hbase 所需的 jar。 在映射器中，连接是在 SetUP
java解决hive快速导数据到Hbase代码
05-10
在项目`hive-bulkload-hbase-master`中，你将找到一个示例项目，它演示了上述步骤的实现。这个项目可能包括了Hive和HBase的连接代码、数据预处理逻辑、MapReduce作业的配置以及加载HFiles的Java代码。通过阅读和理解...
Hbase 批量导入 bulk loading
qq_37706484的博客
10-18 873
hbase超大量数据导入方式，原理就是提前生成相应的Hfile文件，再导入hbase中。 要导入数据的列相同的情况，使用现成的预定义工具importtsv 要导入数据的列不相同的情况，自定义MR实现 importtsv 说明：$output为Hfile文件生成的hdfs路劲，$input为要处理文件存放的hdfs路劲，$table为要导入hbase表名 http://abloz.com/h...
Retry attempted 10 times without completing, bailing out解决
qq_41359684的博客
11-25 2265
今天在做通过bulkload的方式批量加载数据到HBase中去的时候遇到了这个异常 然后去网上找到了这个方案，我的Hbase是2.0.0，所以试了也没用 具体代码如下： BulkLoadMain.class import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; i...
HBase调优案例（二）——高并发下bulkload出现超时
weixin_30411239的博客
04-06 376
原因分析： 　　导入数据——>HBase，在客户端会发生非常多的rpc请求到regionServer，从而加大regionServer上的压力，如果regionServer比较忙碌（handle被占满），可能会抛异常。 解决： 　　1.调整客户端的rpc超时时间； 　　2.增加regionServer的hadler数。 转载于:https://www.cnblogs.com/ling...
HBase导入大数据三大方式之（二）——importtsv +completebulkload 方式
luckymelina的专栏
04-03 5976
做大数据时，经常需要用到将大量格式化的文本数据导入到hbase中。此处就用到的三种方式：hive类SQL语句方式、importtsv +completebulkload 方式、mapreduce+completebulkload 方式，做下简单示例。上篇介绍了hive类SQL语句方式，现在介绍importtsv +completebulkload 方式： 1、  首先在hive shel
bulkload导致性能变慢
wangjunji34478的专栏
01-23 944
bulkload是通过启动MapReduce任务直接生成HFile文件，再将HFile文件注册到HBase，因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源，也可能会生成大量很小的HFile文件频繁的触发Compaction，导致查询速度急剧下降。HBase支持使用bulkload和put方式加载数据，在大部分场景下bulkload提供了更快的数据加载速度，但bulkload并不是没有缺点的，在使用时需要关注bulkload和put适合在哪些场景使用。
Hbase bulkLoad 批量入库遇到的问题及解决方法
那又怎样？的博客
05-11 4268
转载来自：https://blog.csdn.net/wangzhanchi8/article/details/794886461.2、BulkLoad 入库遇到问题及解决方法1.2.1、首先就是reduce相关的问题:  在实际的应用中你就会发现,对于稍大一点的数据量,map过程的执行效率还是比较让人满意的,但是到了reduce阶段就会出现比较严重的卡顿,我的困惑就是?我的代码里明明没有redu...
hbase-site.xml 配置详解
热门推荐
鑫的专栏
01-20 4万+
该文档是用hbase默认配置文件生成的，文件源是 hbase-default.xml hbase.rootdir 这个目录是region server的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录，namenode 运行在namenode.example.org的9090端口。则需要设置为hdfs://
hbase bulk load 小实践及一些总结
关注大数据~
11-30 6962
很早就知道bulk load这个东西，也大致都清楚怎么回事，居然直到前几天才第一次实践...  这篇文章大致分为三个部分： 1. 使用hbase自带的importtsv工具 2. 自己实现写mr生成hfile并加载 3. bulk load本身及对依赖的第三方包的一些总结 第一部分： 导入的文件是data.txt，符合tsv格式，如下： 做一些准备工作： a. 在hdfs上
Hadoop与HBase的一些特殊操作命令
long1657的专栏
09-24 2369
Hadoop与HBase的一些特殊操作命令   1.将hbase数据库中的表导出到hdfs中的命令: Hbase org.apache.hadoop.hbase.mapreduce.Export   [ [ []]] 2.加载导出的数据回到HBase的命令： Hbase org.apache.hadoop.hbase.mapreduce.Import   注意：导入时表必须存在，导出的
Spark通过BulkLoad高效将Hive表迁移到HBase
Spark的BulkLoad功能是将Hive中的数据直接转换为HBase可以理解的HFile格式，这是一种列式存储格式，特别适合大规模数据处理。与传统的逐行写入相比，BulkLoad大大减少了I/O操作，提高了数据导入速度。以下是实现这一...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值