生产环境经常会跑一些离线任务,或者有一些异步任务在问题恢复后积压需要放水,此时我们需要控制对下游的访问qps,避免打挂下游,有多种方式去实现。
当你是一个单进程/单携程
通常是一些小的回扫任务,多用于处理临时任务。
因为是单个进程/携程,简单的话可以首先time.Sleep()
较长一段时间,同时打一下执行时间的大概日志,然后根据实际调用下游的时间,估出一个值调整下游的qps。如果下游超时不稳定有尾请求,也可以手工设置一个超时,避免qps达不到预期
func Process() {
while True {
startTime = time.Now.Unix()
go func() {
ch <-handler()
}()
select {
case <-ch:
log.Printf("time used: %v", time.Now.Unix() - startTime)
time.Sleep(xxx)
// 增加一个超时避免进程阻死不执行
case <-time.After(time.Second * x):
log.Printf("time too long, can't execute")
continue
}
}
/*
实际执行的函数
func handler() {}
*/
稍微复杂可控的话, 可以像下文单机一样加一个counter来判断qps量即可,而且因为是单进程/携程,不用考虑竞争问题,不用加锁
当你是一个单机
我们有多个进程/携程在处理,我们需要在内存中维持一个queue和一个counter。进来的任务进queue,携程实时地根据cou