插入数据到hive hbase映射表报错RegionTooBusy

已于 2022-01-18 17:55:06 修改
阅读量2.3k 收藏
点赞数
分类专栏： hive 文章标签： hive hadoop 数据仓库
于 2022-01-18 17:34:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32068809/article/details/122564685
版权

hive中使用insert select方式将某普通hive表数据写入一张hive hbase映射表,执行速度很慢，拿到其中一个container的日志发现有报错，错误如下：

2022-01-18 17:18:37,730 [INFO] [htable-pool3-t1] |client.AsyncRequestFutureImpl|: id=2, table=test:LCCONT_INS, attempt=6/36, failureCount=251ops, last exception=org.apache.hadoop.hbase.RegionTooBusyException: org.apache.hadoop.hbase.RegionTooBusyException: Over memstor
e limit=512.0M, regionName=d7dda52defa9deae777c045dd674dd98, server=prod-bigdata-pc10,16020,1642399498705	at org.apache.hadoop.hbase.regionserver.HRegion.checkResources(HRegion.java:4379)
	at org.apache.hadoop.hbase.regionserver.HRegion.batchMutate(HRegion.java:3998)

hbase报出RegionTooBusy的错误，并提示Over memstore limit=512.0M，我们将hbase的memstore改大一些试下

注意：我们直接用insert select方式往hive hbase映射表插入数据效率会很慢，这种方式不是走hbase bulkload，所以如果想快速导入需要手写mapreduce通过bulkload方式接入

头顶榴莲树
关注
专栏目录
Hive on Spark 查询Hive映射HBase的表报错
zhangs_123的博客
03-29 1400
Hive on Spark 查询Hive映射HBase的表报错
hive建立内部表映射hbase_【Hive】Hive 整合映射 HBase
weixin_42421187的博客
12-29 1105
@[toc]一、前言HBase 只提供了简单的基于 Key 值的快速查询能力，没法进行大量的条件查询，对于数据分析来说，不太友好。hive 整合 hbase 为用户提供一种 sqlOnHbase 的方法。Hive 与 HBase 整合的实现是利用两者本身对外的 API 接口互相通信来完成的，其具体工作交由 Hive 的 lib 目录中的 hive-hbase-handler-xxx.jar 工具类...
hbase写入报错： Hbase RegionTooBusyException：over memstore limit =512M
仙道Bob的专栏
06-24 3527
hbase 写入报错：over memstore limit=512m
向hbase中写入大数据集报错“RegionTooBusyException: Over memstore limit=1.0G“
kk25114的博客
03-04 1649
环境:hbase3.1.0+cdh6.3.0,数据5g文本 1.场景:像hbase中写入数据报错 se.RegionTooBusyException: Over memstore limit=1.0G, regionName=36bec2784926eec62efbad8ee750825a, server=hyt-bigdata03 2.问题: 写入小文件不会报错,大文件就报错了 代码:(如果是\t,删掉-Dimporttsv.separator=",")默认导入即可了 在hbase中建表:
记一次 Spark批量对hbase put出现 Hbase RegionTooBusyException、over memstore limit =512.0m
南风知我意
05-01 976
项目场景： 业务场景 通过Spark将hive表的一部分数据取出来 通过phoenix批量对hbase做 put操作，batch设置过大，于是 出现 Hbase RegionTooBusyException、over memstore limit =512.0m 问题描述 异常代码片段 Region在每次进行put时，会进行resource的检查。 默认情况下：512M = memstore(128M) * multiplier(4) 原因分析： 问题分析： 一般来说memstore超过hba
org.apache.hadoop.hbase.RegionTooBusyException: Over memstore limit
darkbreak_up的博客
07-17 3716
org.apache.hadoop.hbase.RegionTooBusyException: Over memstore limit 我在从spark程序离线写数据到hbase的时候，屡次出现了上面的问题。 刚开始我去修改了限制memstore上限的两个参数 hbase.hregion.memstore.block.multiplier=4（集群中默认是2） hbase.hregion.mems...
Hbase 报错：RegionTooBusyException
lqf的专栏
12-23 6918
今天遇到了个奇怪的问题，写了一个mapreduce的程序向Hbase中插入数据，当hbase的版本是1.1.2时是没有问题的，但是当hbase的版本降为0.98后就出现了下面的问题 问题的原因：Thrown by a region server if it will block and wait to serve a request. For example, the client wants t
hive建立内部表映射hbase_Hive整合映射HBase
weixin_35122994的博客
12-29 582
1.整合操作hive整合hbase实际上是为用户提供一种sqlOnHbase的方法。Hive和HBase通过接口互通，用户可以方便地通过SQL接口进行建表、映射表、查询、删除等操作。由于对于hiveOnHbase表的查询走MR框架，因此查询效率较为缓慢需酌情使用。在非CM管理的CDH集群进行整合时需以下几步：1.拷贝hbase相关jar包、 2.修改配置文件、 3.重启hive服务1> 修...
【Hive】Hive 整合映射 HBase
w1992wishes的博客
11-13 882
文章目录## 一、前言二、适用场景三、依赖条件四、具体使用4.1、Hive 表映射到 Hbase 中4.2、HBase 表映射到 Hive 表中4.3、Hive Map 类型在 HBase 中的映射4.4、 使用 Hive 集成 HBase 表的需注意五、来源 ## 一、前言 HBase 只提供了简单的基于 Key 值的快速查询能力，没法进行大量的条件查询，对于数据分析来说，不太友好。 hive ...
详解hbase与hive数据同步
08-29
因此，只要创建Hive表时，与HBase中的表做了映射，表名和字段名可以不一致，之后无论在HBase中新增删除数据还是在Hive中，都会自动同步。如果在Hive里面是创建的外部表需要在HBase中先创建，内部表则会在HBase中自动...
hbase发起批写入请求，很容易出现RegionServerTooBuzyException, 从源码分析解决
spark_dev的博客
04-08 386
项目场景： 项目场景：使用hbase1.2.0发起批写入请求，很容易出现RegionServerTooBuzyException, 问题描述： 项目场景：使用hbase1.2.0发起批写入请求，很容易看到RegionTooBusyException, 出现这种问题：一般先百度一下，发现百度回来的方案，由于hbase有多个版本0.96,0.98,1.x,2.x，版本间的参数不一样。由于水平不足，百度回来的方案，基本不可用。 如何破解？ 只能从源码种找答案 下图是hbase.1.2.0对应的hbase
spark sql读取映射hbase数据的hive外部表报错
lhxsir的博客
07-19 2975
集群环境CDH5.8.0 / spark2.1.0 我们用执行以下命令报错： spark2-submit --master yarn --class com.egridcloud.hive.SparkReadHbaseTest2 ./dac-repair2.jar 'SELECT count(*) FROM test' 'hdfs:///user/asmp/test/HT' 其中test表是...
HBase学习笔记（五）——HBase为什么会发生RegionTooBusyException？
u011047968的专栏
06-20 2283
刚开始用 HBase 的时候如果数据量比较大，经常会遇到下面这个异常：org.apache.hadoop.hbase.RegionTooBusyException: over memstore limit = 512.0m 原因定位 HBase 进行 put 操作的时候会进行 resource 检查，当 Region 中所有 MemStore 的大小总和达到了上限， 默认 4* 128M = 512M，会阻塞该 Region 所有请求并触发 memstore 刷写。 当一个 Region 里
hbase org.apache.hadoop.hbase.RegionTooBusyException
默硕的博客
04-09 536
blockingMemStoreSize=hbase.hregion.memstore.flush.size*hbase.hregion.memstore.block.multiplier（默认为4）=512M，这里将hbase.region.store.parallel.put.limit.min.column.count参数，线程处理的最小列数由默认100改为200。将hbase.region.store.parallel.put.limit参数，单region处理的并发数由默认10改为100。
hive 插入数据映射到hbase_求助 hive导入数据到HBase,一直100%，又变为0%
weixin_42506884的博客
01-17 321
该楼层疑似违规已被系统折叠隐藏此楼查看此楼一开始使用十万条数据出了以下类似信息，后来把表的数据减到20条出了以下信息，后来按网上hive hbase整合的例子，只插入一条数据也不行，求问原因和解决方法，谢谢。Hadoop2.7.3 hive2.1.1 hbase1.2.6 vmware 12 centos7hive> insert overwrite table table1 select...
记一次Hbase RegionTooBusyException的处理记录
gdz-zj的博客
12-10 3830
dflowchart.js/ hbase批量put出现 RegionTooBusyException，over memstore limit =512.0m 在使用BufferedMutator批量put数据到hbase时，程序在运行一段时间后，会出现RegionTooBusyException的异常，异常报的是超过了memstore的限制。 通过查看报出异常的源代码，找到原因 意思是Region在每次进行put时，会进行resource的检查。而这个512M是怎么来的呢？ hbase.hregion.m
Hbase写入过快解决办法
麻辣灬小笼包的博客
01-14 878
Caused by: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 226 actions: org.apache.hadoop.hbase.RegionTooBusyException: Over memstore limit=256.0M, regionName=9004772cc158e83ea71b27bd2ef57f7b, 解决办法连接 [https://blog.csdn.net/d
Hive映射HBase
u011500419的专栏
09-27 232
create external table if not exists wedw_ods.log_status_from_hbase ( m_id string ,order_info_id string ,before_status int ,after_status int ,status_type int ,description string ,gmt_created string ,gmt_modified string ) stored by 'org.apache.h.
hive与和hbase整合后从hive中无法插入数据到hbase表，求解
qq_44614948的博客
05-07 1006
hive (default)> insert into hive_test(id,name,age,address) values(1,‘zhangsan’,‘20’,‘guangzhou’); Query ID = root_20190506224953_1e23aa88-14dd-41ce-9d87-493cd49c34a4 Total jobs = 1 Launching Job 1 ...
Hive建hbase映射表是否要先建hbase表
最新发布
10-30
Hive通过HBase存储引擎提供对HBase的支持，如果你想在Hive中创建一个到HBase的映射表，通常建议首先在HBase中建立对应的表。Hive会依赖于HBase表的存在来进行数据的读写操作。 创建Hive到HBase的映射表（即加载HBase分区到Hive表），你需要按照以下步骤进行： 1. **在HBase中创建表**：定义好HBase表的列族、行键以及其他属性，并将数据预先存入HBase。 2. **在Hive中配置HBase连接**：确保Hive知道如何连接到HBase，这通常需要在Hive的配置文件`hive-site.xml`中设置`hbase.zookeeper.quorum`等HBase连接信息。 3. **创建Hive外部表**：使用`CREATE EXTERNAL TABLE`命令，在Hive中指定表名、列定义以及HBase作为存储引擎。例如： ```sql CREATE EXTERNAL TABLE my_hbase_table ( column1 STRING, column2 INT, ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ( 'hbase.columns.mapping' = ':key,cf1:c1,cf2:c2' ) TBLPROPERTIES ( 'hbase.table.name' = 'my_hbase_table', 'hbase.zookeeper.quorum' = 'zookeeper.example.com', 'hbase.zookeeper.property.clientPort' = '2181' ); ``` 这里`hbase.columns.mapping`用于指定HBase表中的列与Hive表列之间的对应关系。 4. **加载HBase数据到Hive**：一旦表创建完毕，你可以使用`INSERT INTO TABLE`或者`LOAD DATA INPATH`语句从HBase导入数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

头顶榴莲树

你的鼓励是我最大的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值