记录一次phoenix写索引表失败导致hbase集群崩溃的生产事故

最新推荐文章于 2022-07-23 12:32:28 发布
最新推荐文章于 2022-07-23 12:32:28 发布
阅读量733 收藏
点赞数
文章标签： hbase big data 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/apply_bomb/article/details/125360898
版权

用简单几句话概括hbase集群宕机原因

主要原因：

  1. hbase集群索引表数据量增多了，负荷变大了，引入功能变多了，但是项目配置参数没有随之调整

  2. 开源项目Phoenix中，对于少部分的修改索引表状态失败的场景，默认的处理方式比较简单粗暴，在一些特殊情况下，容易出现问题

简单流程概括宕机过程

  1. 有索引表的region正在分裂，分裂期间region不接受任何请求

  2. 业务应用请求写索引表失败，重试后仍然失败，于是将索引表禁用

  3. 同时存在其它线程尝试修改索引表状态，但是索引状态修改失败

  4. 索引状态修改失败后regionserver自动关闭

  5. 同时存在其它regionserver正在请求宕机的regionserver写索引表，最后写索引失败，regionser自动关闭，并引起雪崩

  1. 宕机重现的必要条件

  1. hbase整合了Phoenix框架

  2. 发生region分裂，且分裂导致region不在线的时间要足够长

  3. 不在线的region属于Phoenix索引表的region

  4. Phoenix索引region下线的瞬间，Phoenix对该region并发修改请求qps要够高

  5. 客户端的重试次数要少，并且重试间隔要足够短

最终解决办法：

将hbase.client.retries.number从项目中配置的3改为7(默认为15)，问题就不在出现了

根据时间的先后顺序，推测3月21号hbase集群发生的挂机经过

注：部分图片可能涉及生产隐私，因此我删除了

2021年7月16日

业务应用修改了hbase客户端配置

hbase.client.retries.number（客户端重试次数）

由默认的15次修改为3次

 

2022-04-23 15:27:03,823

从master日志看出，索引表IDX_COUPON_END_TIME大小到达了分裂阀值

master正在对该表进行分裂操作，分裂行为持续到2022-04-23 15:27:08,929，耗时5秒

region分裂时，所有落在该region上的请求都会报错NotServerRegionExecpion，但是由于有重试机制，所以一般业务无感知

由于容器重启后没有日志

因此后续假设下客户端的情况如下

在索引表IDX_COUPON_END_TIME分裂期间，

业务应用正在对表索引表发送修改请求

此时业务应用则会出现写索引异常，如下图（下图为测试环境重现问题截图，非生产环境，非项目业务应用）

因为业务应用项目配置了3次重试次数，因此业务应用会在

300毫秒后进行第二次重新发送写请求，该写请求会失败

500毫秒后进行第三次发送修改请求，该写请求会失败

源码位置如下

经过共计3次写索引失败后，业务应用项目会将失败的索引表设置为IDX_COUPON_END_TIME禁用DISABLE状态

源码位置如下

注意：由于项目是多节点项目，并且phoenix和hbase都是多线程多节点应用，并且所有应用的元数据都不是实时更新的，因此在索引表被禁用后，可能仍然新请求试图对IDX_COUPON_END_TIME进行写操作，这次写操作也会因为region正在分裂而失败

假设下客户端的情况如上所述，后续为生产hbase服务器日志分析

2022-04-23 15:27:06,651~2022-04-23 15:27:08,408

regionserver1写索引IDX_COUPON_END_TIME失败了，并且失败了3次，原因为无法定位region位置。

此时在客户端这边，可能已经在尝试将索引表IDX_COUPON_END_TIME修改为DISABLE状态

2022-04-23 15:27:08,402

从日志看出，regionserver5正在试图定位一个region所在位置，但是失败了

根据后续日志可做如下推测由于region定位失败了，所以写索引表IDX_COUPON_END_TIME失败了

从源码可以看出，当regionserver写索引失败后，regionserver会尝试将索引表状态更新为PENDING_DISABLE（预禁用）

2022-04-23 15:27:08,729

从日志可以看出，regionserver5修改索引状态失败了，原因是UNALLOWED_TABLE_MUTATION（非法的表操作）

从源码看出，UNALLOWED_TABLE_MUTATION（非法的表操作）可能的原因：此时表已经为DISABLE （已禁用）状态，不能把DISABLE状态的表转化为PENDING_DISABLE（预禁用）

从源码可以看出，当修改索引失败后最终会向外抛出DoNotRetryIOException异常

DoNotRetryIOException会被包装为FatalIndexBuildingFailureException（致命索引构建异常）

2022-04-23 15:27:08,755

regionserver5的Phoenix程序向外抛出了FatalIndexBuildingFailureException（致命索引构建异常）

2022-04-23 15:27:08,847

regionserver5停止运行

2022-04-23 15:27:12,928

regionserver3

因为无法联系regionserver5写索引失败最终关闭了自己

2022-04-23 15:27:13,098

regionserver7

因为无法连接regionserver5导致写索引失败,最后关闭

2022-04-23 15:27:27,262

regionserver2因为无法连接regionserver5导致写索引失败最后挂掉

2022-04-23 15:27:27,438

regionserver8:

因为无法连接regionserver3和regionserver7导致写索引失败宕机

2022-04-23 15:27:27,342

regionserver1:

由日志得，regionserver1无法连接regionserver7和regionservre3,最终写索引失败关闭了自己

2022-04-23 15:27:38,384

regionserver6

由日志得，regionserver6无法连接regionservre3,热感ionserver7,regionserver8最终写索引失败关闭了自己

2022-04-23 15:27:38,962

regionserver4

由日志得，regaie3,最终写索引失败关闭了自己

至此。hbase集群的所有regionserver均已关闭

最终解决办法：

由上面可知，宕机有下面几个必要条件

  1. hbase整合了Phoenix框架

  2. 发生region分裂，且分裂导致region不在线的时间要足够长

  3. 不在线的region属于Phoenix索引表的region

  4. Phoenix索引region下线的瞬间，对该region并发修改请求qps要够高

  5. 客户端的重试次数要少，并且重试间隔要足够短

将hbase.client.retries.number从项目中配置的3改为7(默认为15)，问题就不在出现了

将业务项目重试次数从3增加为7，即可增加重试次数和重试间隔，少了一个必要条件，宕机就不会发生

（注：若项目无特殊指定。hbase默认该参数为15）

常见问题：为什么重试次数应该调整为7而不是其它数字？

在hbase已经不正常的情况下，重试次数为3，客户端的Phoenix写索引表请求情况如下所示

第1次写索引失败

Thread.sleep毫秒：300

第2次写索引失败

Thread.sleep毫秒：500

第3次写索引失败

结束

在hbase已经不正常的情况下，若配置重试次数为7，则为

第1次写索引失败

Thread.sleep毫秒：300

第2次写索引失败

Thread.sleep毫秒：500

第3次写索引失败

Thread.sleep毫秒：1000

第4次写索引失败

Thread.sleep毫秒：2000

第5次写索引失败

Thread.sleep毫秒：4000

第6次写索引失败

Thread.sleep毫秒：10000

第7次写索引失败

结束

在hbase已经不正常的情况下，若配置重试次数为15，则为

第1次写索引失败

Thread.sleep毫秒：300

第2次写索引失败

Thread.sleep毫秒：500

第3次写索引失败

Thread.sleep毫秒：1000

第4次写索引失败

Thread.sleep毫秒：2000

第5次写索引失败

Thread.sleep毫秒：4000

第6次写索引失败

Thread.sleep毫秒：10000

第7次写索引失败

Thread.sleep毫秒：10000

第8次写索引失败

Thread.sleep毫秒：10000

第9次写索引失败

Thread.sleep毫秒：10000

第10次写索引失败

Thread.sleep毫秒：20000

第11次写索引失败

Thread.sleep毫秒：20000

第12次写索引失败

Thread.sleep毫秒：20000

第13次写索引失败

Thread.sleep毫秒：20000

第14次写索引失败

Thread.sleep毫秒：20000

第15次写索引失败

结束

通过观察region分裂时间有下面规律

集群正常时2秒左右完成分裂

系统繁忙时可以到10秒

系统异常时可以到30秒

综合考虑，可暂时把重试次数改为7

源码位置

apply_bomb
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Phoenix初遇HBase的问题解决思路分析
qq_42035364的博客
10-22 977
Phoenix初遇HBase的问题，思路分析 刺激星期一，快乐星期二。 仅此记录自己解决一个问题的思路。 Phoenix+HBase的初次碰撞！ 环境介绍：Hadoop2.7.7、HBase2.0.3、Phoenix5.0 Hadoop的环境是已经搭建好的高可用，完全分布，3节点，所以这边搭建的HBase也是对应的分布式。 故事高潮要从搭建完HBase开始说起，Phoenix在首次使用的过程中，需...
Phoenix连接hbase失败
Programma12的博客
11-08 911
phoenix链接不上hbase
phoenix一启动就会导致hbase节点全部挂掉
硅谷工具人
06-05 373
现象： 刚装完Hbase2.4.3, 下载的是Phoenix5.1.1包，解压缩，然后将包中client、server两个jar包拷贝到Hbase所有节点的lib中。 phoenix-client-hbase-2.4-5.1.1.jar phoenix-server-hbase-2.4-5.1.1.jar 然后启动Hbase，此时运行看起来一切正常。 接下来启动phoenix，一直卡在这个页......
phoenix异步创建索引一直失败，报错索引表对应的创建表不存在
weixin_42838158的博客
11-14 2967
1.在phoenix中创建视图： create view “six” (“pk” varchar primary key,“one”.“one” varchar,“one”.“two” varchar) as select * from “six”; 2.在phoenix中创建异步索引： create index “six_one_one_index” on “six” (“one”.“one”)...
一次phoenix大表删除数据超时导致hbase和phoneix启动不了的解决过程
weixin_43654136的博客
12-05 2523
phoenix有一个大表，数据其实也不算太多。300多万条记录，另外还有5-6个二级索引表。在sqlline.py里执行delete命令，超时，数据删除剩下80多万条，继续执行delete命令。。。大事不好了。。。 1.执行stop-hbase.sh 超时，关闭不了 2.启动hbase shell： 报： ERROR:org.apache.hadoop.hbase.PleaseHoldExcept...
springboot集成phoenix+hbase
10-26
springboot集成phoenix+hbase 完整demo！！！！！！！
phoenix-hbase-2.4-5.1.2
03-09
phoenix-hbase-2.4-5.1.2
zookeeper+hbase集群搭建
04-15
在本文中，我们将深入探讨如何搭建一个Zookeeper和HBase集群，以及在过程中可能遇到的常见问题和解决方案。Zookeeper和HBase都是大数据处理领域的关键组件，Zookeeper作为一个分布式协调服务，而HBase是一个基于...
java-hbase-phoenix:通过Phoenix访问HBase
05-18
通过Phoenix和Java访问HBase 该存储库是有关如何通过Phoenix和Java访问HBase并执行CRUD操作的简单示例。 由于我在HBase的设置上使用伪分布式模式，因此需要hadoop和zookeeper。 如果您的HBase设置是独立的，则不需要...
HBase集群搭建
10-25
HBase集群搭建 HBase是一种分布式、面向列的NoSQL数据库，基于Hadoop和HDFS，能够存储大量数据。以下是HBase集群搭建的知识点： 1. 安装HBase HBase安装有三种模式：单机模式、伪分布模式和完全分布式模式。在...
运行hbase报错（因为配置了Phoenix后）
weixin_43390992的博客
11-13 765
运行HBase应用开发程序产生异常，提示信息包含org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory的解决办法 Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Exception in thread "main...
Phoenix创建二级索引遇到的问题
weixin_46144832的博客
04-04 250
Phoenix创建二级索引遇到的问题 创建二级索引: create local index “idx_tel” on “employee”(“family”.“tel”); 报错: Error: ERROR 102 (08001): Malformed connection url. ERROR 102 (08001): ERROR 102 (08001): Malformed connection url. :node01:2181,node02:2181,node03:2181:2181:/hbase
phoenix连接Hbase，使用sql语句注意细节
Kevin@Zhang的博客
12-16 700
个人观点，如有错误，欢迎批评指正！ 1、插入insert 和更新 update 双剑合璧为 upsert into（跟新插入） ，有数据时执行更新，无数据时执行插入，所以逐按字段插入（是否需要指定主键？） 2、只支持union all ，不支持union ，所以连接子集不能自动去重，那我们就手动，使用使用union all之后再对字段distinct可以实现去重，一行数据个字段数据完全相同才会...
Phoenix填坑记1：索引无故被disable
sunlen的专栏(编程技术探讨)
12-29 989
Phoenix是基于HBase的，而Phoenix的索引其实是HBase的二级索引，当Phoenix的索引处于disable状态时，整个Phoenix表是无法正常使用的，要将索引修复为enable状态，往往需要重建索引，这对应一些大表来说，往往需要花费几个小时是时间，那么这几个小时，系统基本上就处于不可用状态，这对应现网系统来说，往往是不可接受的。 其实Phoenix有3个隐藏参数，这些参数在官网文档没有体现，但实际上这3个参数非常重要，可以解决上面提到的问题。 闲话不说，先来讲...
phoenix 索引修复-基本流程
weixin_34208283的博客
11-17 401
索引修复基本流程 转载于:https://www.cnblogs.com/pbc1984/p/6073333.html
phoenix连接hbase时的bug处理通用方法（亲测）
h123456789999999的博客
07-23 1915
phoenix连接hbase出现的bug
hbase崩溃问题
weixin_52105111的博客
03-25 1910
最近因为我在搞Flume-kafka-hbase 集成，昨天不知道咋了的突然我的hbase就崩溃了，说是说hbase崩溃了，其实我更崩溃，因为这已经不是第一次这样了，hbase崩溃的第一百个原因 先放一放我得先抢个明天图书馆位置，每晚八点抢，这个疫情真烦。然后我八点钟有个直播课到九点，差不多就该回去了，明天我买的新手机也到了，明天会有个好心情来整理这hbase崩溃到修复好的心路历程，心很累，因为一出问题真的就是很痛苦去看文章，纠错。 ...
解决从Hbase插入数据Phoenix对应索引表不同步更新问题（详细）
我的青春一去不复返
11-05 2371
感谢博主：解决Hbase数据更新Phoenix对应索引表不更新问题_高矮-CSDN博客 问题描述： 首先感谢上面博主老师的指导。参考上面博主的讲解，得出：用户访问的数据接口直接走Phoenix，也就是往hbase存取数据的话，直接从phoenix走，没有什么问题（没有问题是指：Phoenix的表是映射hbase产生，Phoenix的表会建很多索引，正常通过接口直接写数据进Phoenix表，相应的索引表也是会更新的）。 但是如果直接往hbase中的表存数据，不走phoen...
HBase、Phoenix
jason_bone_的博客
02-21 3310
一.前言(整体聊聊hbase,hdfs,Phoenix) 一.从HDFS角度理解HBase写: 1.HBase的数据存储在HDFS之上,HDFS不支持随机写.因此HBase做一系列优化. 2.因为HDFS不支持随机写,所以HBase只需要将数据写入内存即可.内存不稳定需要经WAL. 3.内存不稳定且有限,因此HBase在合适时机将数据写入到HDFS.那什么时候存呢?由此衍生了HBase的刷写机制. 4.刷写会带来文件数量过多问题,又衍生了文件的小合并,大合并.
phoenix 如何连接hbase集群
最新发布
05-31
可以使用Phoenix JDBC驱动程序连接HBase集群。以下是连接HBase集群的步骤： 1. 下载并解压HBase二进制文件 2. 修改HBase配置文件hbase-site.xml，添加以下属性： <name>hbase.zookeeper.quorum <value>zk...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值