如何设置Hystrix 线程池大小,以及超时时间
假设你的服务A,每秒钟会接收30个请求,同时会向服务B发起30个请求,然后每个请求的响应时长经验值大概在200ms,那么你的hystrix线程池需要多少个线程呢?
计算公式是:30(每秒请求数量) * 0.2(每个请求的处理秒数) + 4(给点缓冲buffer) = 10(线程数量)。
那为啥要多搞4个线程呢?很简单,因为你要留一点buffer空间。
万一在系统高峰期,系统性能略有下降,此时不少请求都耗费了300多毫秒才执行完,那么一个线程每秒只能处理3个请求了,10个线程刚刚好勉强可以hold住每秒30个请求。所以你必须多考虑留几个线程。
接着来,那么请求的超时时间设置为多少?
答案是300毫秒。
为啥呢?很简单啊,兄弟!如果你的超时时间设置成了500毫秒,想想可能会有什么后果?
考虑极端情况,如果服务B响应变慢,要500毫秒才响应,你一个线程每秒最多只能处理2个请求了,10个线程只能处理20个请求。
而每秒是30个请求过来,结局会如何?咱们回看一下第一张图就知道了,大量的线程会全部卡死,来不及处理那么多请求,最后用户会刷不出来页面。
如果你的线程池大小和超时时间没有配合着设置好,很可能会导致服务B短暂的性能波动,瞬间导致服务A的线程池卡死,里面的线程要卡顿一段时间才能继续执行下一个请求。
大不了就是300毫秒内处理不完立即超时返回,但是线程始终保持可以运行的状态。
如何考虑整个集群流量情况下如何设置
如果现在这套系统每秒有6000请求,然后核心服务A一共部署了60台机器,每台机器就是每秒会收到100个请求,那么此时你的线程池需要多少个线程?
很简单了,10个线程抗30个请求,30个线程抗100请求,差不多了吧。
其实这个东西不是固定死的,但是你要知道他的计算方法,根据服务的响应时间、系统高峰QPS、有多少台机器,来计算出来,线程池的大小以及超时时间!