Hystrix有两个bug,你发现了么?

在基于Hystrix的扩展功能开发中,作者发现两个重大问题:1) 熔断时埋点数据错误,由于多个线程初始化熔断器导致;2) 熔断状态无法正确恢复,由于降级请求触发的清理操作错误地将熔断器状态切回OPEN。这些问题分别与并发初始化熔断器和降级请求的清理过程有关。解决方案包括使用版本1.5.12或修改源码。
摘要由CSDN通过智能技术生成
专注于Java领域优质技术号,欢迎关注

作者:占小狼

最近基于Hystrix源码添加一些花边功能,比如数据埋点、参数动态配置等,交付给业务之后,经过一系列的压测之后,发现了各种问题。

1、埋点数据有问题

2、熔断一直不恢复

先来看下埋点数据的问题,经过封装的Hystrix会把正常请求、试探请求、异常请求和熔断状态都记录下来,通过压测后发现发生熔断的时候,出现了好几个数据打点,正常情况下应该只有一个。通过debug,加日志之后,才发现这个隐秘的问题。

Hystrix有两个bug,你发现了么?

每次请求都会获取一个对应的熔断器,假设服务刚启动的时候,对应的熔断器还没有初始化,这时每个线程都会去尝试初始化一个,通过ConcurrentHashMap的putIfAbsent方法保证最后拿到的是同一个熔断器,但是作者忽略了一个问题,在熔断器的初始化中,有这么一段逻辑:

Hystrix有两个bug,你发现了么?

上述逻辑中,熔断器在初始化时,会去注册Metrics的数据流的回调(本质是500ms执行一次,判断是不是达到熔断阈值了)。所以,如果有10个线程同时初始化熔断,虽然最终只会使用一个,但是其它9个熔断器也会注册回调。这就导致了当发生熔断时,熔断标识的埋点数据就有问题。

最好的办法就是初始化熔断器的时候,加个锁。

Hystrix有两个bug,你发现了么?

能避免的无效计算,都尽量的避免。

再来看看第二个问题,我觉得这算是一个大bug了,熔断一直不恢复,这意味着什么,意味着钱啊。

先看看什么情况下,熔断之后不会恢复吧。

熔断器内部有三个状态:CLOSED,HALF_OPEN,OPEN。默认情况下,都是处于CLOSED状态,当请求的失败率过高,达到阈值时,就自动从CLOSED切成OPEN,这是所有的请求会执行降级逻辑,这些都没问题。熔断开启之后,如果过了一个试探窗口(5000ms),其中一个请求线程会把熔断状态从OPEN切成HALF_OPEN,表明要开始试探下游服务是不是已经恢复了。如果下游已经恢复,那么这个请求正常返回之后,会执行markSuccess方法,该方法实现如下:

Hystrix有两个bug,你发现了么?

在这个方法中,会把熔断转态从HALF_OPEN切成CLOSED,熔断恢复,分析下来,好像这一切是那么的理所当然,顺理成章。

但是,但是!!!

在熔断开启期间,执行降级的请求最后会执行一个叫unsubscribeCommandCleanup的Action,代码如下:

Hystrix有两个bug,你发现了么?

在该Action中,执行circuitBreaker.markNonSuccess(),这个会导致什么问题?设想一下,如果试探请求刚把熔断从OPEN切成HALF_OPEN,正在等待下游返回时,这时一个降级请求,理所当然执行了markNonSuccess,顺带把熔断又从HALF_OPEN切成OPEN,一切都是默默的发生,不留下一丝痕迹,不加个日志,你都不知道发生了什么。

熔断状态被降级请求切回了OPEN,这时试探请求结果成功返回,执行markSuccess方法,准备把熔断从从HALF_OPEN切成CLOSED,殊不知已经被内部间谍提早偷偷换了转态,就导致了应该恢复的服务,继续降级着,只能祈祷下次没有降级请求提早偷换状态。

去github上翻了一下,在1.5.12版本中,Action unsubscribeCommandCleanup并不会执行 circuitBreaker.markNonSuccess(),而是在1.5.13中,为了修复一个bug而加入的。

Hystrix有两个bug,你发现了么?

加这段代码的本意是:Fixed bug where an unsubscription of a command in half-open state leaves circuit permanently open,就是下面这种写法。

Observable<Boolean> o = cmd5.observe();Subscription s = o.subscribe();s.unsubscribe();

结果,种下了另一个隐患,而这个问题17年7月就被种下了,迟迟未得到修复,Hystrix难道没人维护了?

如果想用原生的Hystrix,建议使用1.5.12版本;

如果想用最新的版本,建议对源码进行适当的修改,再进行使用。

来源:https://www.jianshu.com/p/631ade33fec1
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值