服务的高可用 —— 智能流控设计

目录

智能流控

背景

动态阈值及流量控制

动态阈值

流量控制

优势及不足

附录

---

智能流控

智能流控，听起来是流量的拆分控制。不错，就这回事，下面以广告业务为例来讲解，如何设计搭建一智能流控机制。

背景

当 A 模块从上游模块拿到倒排、召回后的广告投放计划后，会以并发的方式请求 各家 dsp 获取各自广告的出价、尺寸，等广告信息。在并发请求时，响应时间由最后返回的 dsp 决定。最坏情况是 dsp 超时无反馈，响应时间由默认配置的最大超时时间决定，此时会拖慢整个 A 服务，同时广告链路各微服务之间产生连级反应，整条链路被影响。由于 上游对 dsp 服务的承载能力及容灾等情况不可控，故需要对其做流控策略。

动态阈值及流量控制

在智能流控策略中，依赖的组件有  memcache\redis\prometheus。架构模型是挂载式，通过挂载核心动态阈值脚本，阈值数据的共享，触发流量控制策略。下面依次讲解，动态阈值脚本 及 流量控制策略。

动态阈值

在动态阈值脚本中，我们达到智能、动态的前提是，有个阈值的基准。这个一般是由 dsp 接入时，有双方技术判定的服务承载健康值。