Hbase ： Trying to load more than 32 hfiles to one family of one region解决方案

最新推荐文章于 2022-09-04 18:18:31 发布

yovela_hu

最新推荐文章于 2022-09-04 18:18:31 发布

阅读量2.4k

点赞数

文章标签： hbase bulkload

本文链接：https://blog.csdn.net/yovela_hu/article/details/84134819

版权

hbase在bulkload时默认的hfile的个数是32个，当hfile文件格式超过32个，则会报一下错误：
在这里插入图片描述

解决方法：
在hbase-site.xml中加入配置:
在这里插入图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yovela_hu

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder“.解决方法

猿小白的博客

01-24

2188

在IDEA中启动JAVA程序之后，控制台中报以下错误信息 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details. 解决方案：只需要在po.

phoenix启动报错：Error: org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region s

打工日常

12-29

5124

@Tphoenix启动报错：Error: org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region sOC 报错内容如下： Error: org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region ...

1 条评论您还未登录，请先登录后发表或查看评论

Hbase bulkload数据报 more than 32 hfiles to one family of one region

weixin_43613717的博客

10-23

489

问题描述如图：在采用hbase 的bulkload方式load数据的时候，报如上错误分析： hbase的默认一个region下默认只能最大有32个hfile文件，默认的hfile的文件大小最大为1G，也就是说一个region里面最多只能放32G，一个批次最大的量就是32G，这样远远不能解决问题，所以需要调大相应的参数来解决问题 解决方案 在hbase-site.xml更改这两个参数来调...

Hbase写Hfile报错：Trying to load more than 32 hfiles to one family of one region

04-10

905

在写Hfile的时候，如果一个family下超过了默认的32个hfile，就会报如下错误： ERROR mapreduce.LoadIncrementalHFiles: Trying to load more than 32 hfiles to family d of region with start key Exception in thread "main" j...

Hbase-Trying to load more than 32 hfiles to one family of one region

qq1010234991的博客

08-24

1209

BulkLoad方式优化背景问题分析 解决方案 方式一：spark DataFrame写入Hive临时表前进行coalesce(30) 方式二：参考链接 BulkLoad方式优化背景项目中使用到Hbase BulkLoad方式插入数据，当数据量较大时或小文件过多时，任务失败：报错：Exception in thread "main" jav...

Trafodion Troubleshooting - Trying to load more than 32 hfiles to one family of one region

数据源的港湾

01-13

1035

现象在Trafodion中往一个单分区表中Load数据的时候，或者在一个大的分区表上创建单分区索引的时候，会遇到以下错误， ERROR[8448] Unable to access Hbase interface. Call to ExpHbaseInterface:doBulkLoad returned error HBASE_DOBULK_LOAD_ERROR(-715). Cause: j...

vue 自定义消息弹窗 $info | 内含Vue.extend()和.$mount()的使用方法

朝阳39的博客

12-19

3000

目录最终效果（含使用方法）实现方案 1. 在文件夹info中新建文件s-info.vue 2. 在文件夹info中新建文件 index.js 3. 在main.js中定义全局指令$info 最终效果（含使用方法） this.$info('你成功啦！') this.$info('小心！','warning') this.$info('报错啦！','error') 实现方案新建文件夹src/plugins/SUI/info 1. 在文件夹info...

使用spark bulkload加载海量数据到hbase

陈健的技术博客

05-04

3675

最近在项目中碰到需要使用spark加载海量数据到hbase的需求，一开始我们使用批量put的方式，这种方式简单，但是带来了一系列的性能问题，一方面速度比较慢，另一方面，由于我们的hbase用来提供oltp服务，导致在加载数据的时候，hbase的region sever频繁GC，严重影响线上交易的响应时间。因此，我们决定使用bulkload的方式来解决这个问题，一路踩坑，终于解决了所有问题，现将遇到...

出现SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder“.的解决方法

码农研究僧的博客

01-07

5万+

编译ssm的项目的时候出现了这个错误导致一直运行不起来 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details. Logging initializ

Exception in thread "main" java.io.IOException: Trying to load more than 32 hfiles to one family of

风远陌

04-10

798

遇见问题：命令： hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /user/yz/zhaochao/duotou200/ neibudt_200_cols_hfile20190409_1 报错： Exception in thread "main" java.io.IOExcepti...

解决使用 HBase Bulk Loading 工具出现超过32个hfile的问题，针对一个region的family

wtjmgj的博客

06-27

1684

导入指标时遇到 importtsv.bulk.output 目录输出的hfile文件个数超过32个时，需要分为多步操作，第一步：先把超过的文件个数（bulk.output的目录下的hfile文件个数保持在32之内）移到别的目录下。第二步：执行 hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles output...

Hbase bulkLoad 批量入库遇到的问题及解决方法

wangzhanchi8的博客

03-08

4174

1.2、BulkLoad 入库遇到问题及解决方法1.2.1、首先就是reduce相关的问题: 在实际的应用中你就会发现,对于稍大一点的数据量,map过程的执行效率还是比较让人满意的,但是到了reduce阶段就会出现比较严重的卡顿,我的困惑就是?我的代码里明明没有reduce过程,为什么还会有reduce过程来影响我入库的效率呢? 于是,我尝试着在job里,设置reduce的数量,把它设置为0,...

Spark bulkload一些问题2

南风知我意

09-04

1795

1.hbase.mapreduce.hfileoutputformat.table.name cannot be empty 2.Trying to load more than 32 hfiles to one family of one region 3.java.lang.NoSuchMethodError: jar包冲突 4.Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0.0 i

使用spark将数据以bulkload的方式写入Hbase时报错

YouMe的博客

08-06

1391

Exception in thread "main" java.io.IOException: Trying to load more than 32 hfiles to one family of one region 从报错日志中可以很明显看出因为Hfiles的个数超出了32默认的时32,关键时怎么改的问题，我们用的是CDH在Hbase的webui页面，没找到类似配置，通过在网上查找资料发现...

Hbase遇到的错误

qq_34874791的博客

11-22

396

将hbase/lib下所有报拷入hadoop下的/share/hadoop/mapreduce.

hbase批量入库遇到的坑

....

01-20

1万+

hbase批量入库的总结最近这一段时间一直在研究hbase的批量入库，看似简单的问题其实埋着无数的坑...... 接下来就把我遇到的一些问题和解决的办法分享给大家，希望能让那些新接触到的人不至于像我一样走这么多弯路。 hbase一般的插入过程都使用HTable对象，将数据封装在Put对象中，Put在new创建的时候需要传入rowkey，并将列族，列名，列值add进去。然后H...

Hbase原理、基本概念、基本架构