hbase写入一段时间后变的越来越慢

最新推荐文章于 2023-04-18 17:01:56 发布
置顶 最新推荐文章于 2023-04-18 17:01:56 发布
阅读量5.7k 收藏 10
点赞数 2
分类专栏： hbase kafka sparkstreaming 文章标签： hbase phoneix kibana sparkstreaming kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36647532/article/details/101026923
版权
本文分析了一起HBase写入变慢，进而影响SparkStreaming任务延迟的问题。通过排查Kafka和HBase，发现Kafka端已解决阻塞，而HBase存在写热点、线程堆栈卡顿及频繁创建连接的情况。借助ELK日志搜集，定位到写等待主要发生在特定regionserver，进一步排查发现网络丢包问题。停用问题regionserver后，性能恢复正常。
摘要由CSDN通过智能技术生成

一、概况

集群环境如下表：

集群 机器 存储 内存 CPU 每日数据        
HW大数据平台 160台 6PB 10TB 8000 10亿        

 

数据存储在kafka中，130个分区，采用sparkstreaming将数据清洗后，通过phoneix批量写入hbase。

 

二、kafka原因排查

sparkstreaming拉取kafka的时候，卡死在这一步，如下图所示：

sparkstreaming读取kafka的数据采用Direct 模式读取kafka数据，检查点在客户端维护offset，任务运行不是很稳定，偶尔会出现延迟几分钟。

  • 推测执行
最低0.47元/天 解锁文章
毛毛虫之路
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
HBase写性能优化策略
04-18
HBase写性能优化策略HBase写性能优化策略HBase写性能优化策略
记一次hbase写入慢排查分析
kobexzf的博客
07-07 1658
版本：1.2.6现象：hbase写入耗时长，单机slow put数量上升，单机flush慢，内存达到高水位block request至高水位下(内存达到低水位会不断flush至低水位下)，目前24G内存，高水位9.6G(240.4)，低水位7.68G(9.60.8)具体分析：1 flush慢 并非写入hdfs慢，怀疑是scan耗时太长，甚至可能死锁了2 flush的size大 很好理解，并不是说达到128MB立即就flush了，是扔到flush队列了，flush队列可能有普通region的flush(队列，
HBase写入性能太低
m0_57320261的博客
04-18 939
HBase 是基于 LSM tree 数据结构实现的，在写入时需要进行数据排序、合并等操作，相比 HDFS 的追加写入来说，延迟会更高。可以通过优化 HBase 的配置或者选择其他的 NoSQL 数据库来提升性能，同时也可以考虑在 Flink 中增加缓存等方式，提高写入效率。而 HBase 是分布式数据库，每个 RegionServer 只负责一部分数据，写入时可能存在热点问题，导致性能较差。Flink 在写入 HBase 时，默认只有一个并发度，如果数据量较大，可能会导致写入过慢。
hbase 错误调用表读方法引发的血案
humanity11的博客
12-10 3061
记一次错误调用hbase读方法引发的血案 需求说明 目前公司的数据库存在上前亿级别的GPS坐标点，数据量在几十至百TB级别，这些坐标需要获取从百度、高德等网站上更新获取该点对应的服务信息,即一个坐标点对应一条该坐标的描述信息。如果将这些坐标全部按一个点一个 点 的查询下载，按照目前我们的查询Http接口带宽限制，至少需要1年多。通过抽样调研后发现，这些坐标里存在有大量的重复数据，重复率接近80...
Phoenix客户端连接Hbase遇到的分页问题小结
weixin_34306446的博客
01-03 277
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark加载HDFS parquet数据,批量插入HBASE例子及一个问题优化
lwb314的专栏
03-31 2206
场景 HDFS上存储了大量的parquet文件，我需要抽取其中几个字段存储到HBASE里。 中间出现了一个问题，应该是一次批量提交的数据量太多了，所以一致卡着，提示： INFO AsyncRequestFutureImpl: #3, waiting for 172558 actions to finish on table: 网上没超导怎么解决，最后自己优化了一下代码解决了 代码 主函数:HBase2HDFSLocalTest import org.apache.spark.sql.{DataFrame
HBase冷热分离方案.pdf
08-29
随着大数据技术的发展，越来越多的企业选择使用HBase作为其数据库管理系统的一部分。然而，在实际应用过程中，如何有效地管理冷热数据成为了提高性能的关键之一。本文将详细介绍HBase冷热数据分离的背景、常见场景...
时序数据库技术和架构演进.pdf
08-29
1. **HFile**: HFile是HBase中的文件格式之一，用于存储时序数据。它是一种高效的列式存储格式，支持数据压缩和索引功能，能够有效地提高数据的读写性能。 2. **KeyValue结构**: 在时序数据库中，数据通常以KeyValue...
Hadoop权威指南(中文版)(带书签
04-09
3. **YARN**：随着Hadoop的发展，资源管理的需求变得越来越重要。因此，Hadoop 2.0引入了YARN（Yet Another Resource Negotiator），作为统一的资源管理系统，负责调度计算资源，分离了资源管理和计算任务的职责，...
hadoop源代码归档 1
07-13
3. **YARN (Yet Another Resource Negotiator)**：随着Hadoop的发展，资源管理的需求变得越来越重要，YARN作为第二代资源调度器应运而生。YARN负责全局的资源管理和任务调度，将Hadoop的资源管理和计算任务分离，...
Ambari Metrics System之后台报错client.AsyncProcess: #1, waiting for 4763 actions to finish
江河万川
04-18 3707
众所周知，目前AMS系统后台的指标数据存储采用的是HBase，不过只是一个拥有单个regionserver的简易版HBase，由于只有一台实际RegionServer，所以所有的读写请求都会指向这一台Regionerver。此阉割版的HBase并未真正发挥出HBase的分布式特性，也背离了HBase使用的初衷。本质上讲，和单节点的普通数据库没有太大差别。因此其负载非常巨大，经常会在ambari-me
at org.apache.hadoop.hbase.client.AsyncProcess$BatchErrors.makeException hbase clientput数据失败
weixin_42599429的博客
05-07 612
java clientput失败 解决方式 1.查看hbase的log日志 2021-05-07 22:04:45,997 INFO [AM.ZK.Worker-pool2-t17] master.RegionStates: Transition {5391dee324fcf5e26990ecea202be098 state=PENDING_OPEN, ts=1620396285688, server=hadoop02,16020,1620396224804} to {5391dee324fcf5e2699
如何在hbase中快速插入10万条数据
qq_35488275的博客
05-09 3738
我们知道每一条put操作实际上都是一个rpc操作，它将客户端数据传送到服务器然后返回。这只是折小数据量的操作，如果有一个应用需要插入十万行数据 到hbase表中，这样处理就太不合适了。     hbase的api配备了一个客户端的些缓冲区，缓冲区负责手机put操作，然后调用rpc一次性将put送往服务器。     下面是一个插入十万行到一个表的代码： import org.apache.h
HBase多条件及分页查询的一些方法
weixin_34418883的博客
01-14 1368
HBase是Apache Hadoop生态系统中的重要一员，它的海量数据存储能力，超高的数据读写性能，以及优秀的可扩展性使之成为最受欢迎的NoSQL数据库之一。它超强的插入和读取性能与它的数据组织方式有着密切的关系，在逻辑上，HBase的表数据按RowKey进行字典排序， RowKey实际上是数据表的一级索引（Primary Index），由于HBase本身没有二级索引（Secondary Ind...
记录一次HBase的scan的分页查询
chun的博客
11-24 3009
修改前任bug，Hbase查询过于慢了，以至于都查不出来了，看了代码发现使用的Scan只设置了withStartRow、withEndRow、setCaching扫描,拿到全部数据后存入集合再subList进行分页，但是HBase中存在某些数据有几百万条，根本scan不出来了。 前任设置如下： 其中start 和 end 拼接0和z是因为HBase中RowKey按照字典顺序排序， String start = rowKey + "0"; String end = rowKey + "z"; Scan sca
HBASE我遇坑之client.AsyncProcess: #1, waiting for 5012 actions to finish
热门推荐
泰格数据
11-06 1万+
项目使用phoenix连接HBASE，数据用spark处理后通过phoenix批量插入到HBASE中， 其中，提交频率为5000条提交一次   发现插入表大的时候，速度变慢，查看日志发现如下线索： client.AsyncProcess: #1, waiting for 5012 actions to finish         查看网上很多线索，主要有几种解释： 一种是ZK的
（八）spark常见问题解决
weixin_43930865的博客
07-29 681
1：sparkstreaming 1：资源不足 解决：关闭不用的application ,减少executor和memory的内存 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registe
spark 的createDstream和createDirectStream区别
ChengYanan的博客
04-23 536
spark读取kafka数据流提供了两种方式createDstream和createDirectStream。 两者区别如下： 1、KafkaUtils.createDstream 构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据，利用的是...
hbase写入时客户端缓存
最新发布
06-13
HBase写入时的客户端缓存是指在HBase客户端中使用的一种缓存机制，用于提高客户端对HBase的数据写入效率。HBase客户端缓存可以分为两种类型：客户端写缓存和客户端写前日志缓存。 客户端写缓存是指HBase客户端在写入数据时，将写入的数据缓存在客户端中，以便后续的写入请求可以直接在客户端上进行操作，减少了与HBase服务器的通信开销，提高写入效率。客户端写缓存适用于写入频繁但数据量较小的场景。 客户端写前日志缓存是指HBase客户端在写入数据时，将写入的数据先缓存在客户端的写前日志中，然后再将数据写入HBase服务器，以确保数据的安全性和一致性。客户端写前日志缓存适用于写入频繁且数据量较大的场景。 需要注意的是，HBase写入时的客户端缓存的使用需要根据具体的业务场景和数据访问模式进行调整和优化，否则可能会影响系统的性能和稳定性。此外，客户端缓存的大小也需要根据实际情况进行设置，以充分利用可用的内存资源。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值