（转载）go中的任务队列

这篇文章非常不错

在 RapidLoop 中，我们几乎用 Go 做所有事情，包括我们的服务器，应用服务和监控系统 OpsDash。

Go 十分擅长编写异步程序 - goroutine 和 channel 使用十分简单不容易出错并且和其他语言相比异步/等待模式，语法和功能都更加强大。请继续阅读来瞧瞧围绕任务队列的一些有趣的 Go 代码。

不使用任务队列

有时候你不需要任务队列。执行一个异步任务可以这样：

go process(job)

这种方式对于一些需求确实是很好的方式，例如在处理 HTTP 请求的时候发送 email。需求的规模和复杂度决定我们是否需要更精细化的基础设施去处理任务，并将任务队列化以一种可控的方式处理它们(例如控制最大并行的任务数量)。

简单的任务队列

这里有一个简单的队列和一个处理队列任务 worker 函数。goroutine 和 channel 只是将其编码成优雅紧凑代码块的正确抽象。

func worker(jobChan <-chan Job) {
    for job := range jobChan {
        process(job)
    }
}

// make a channel with a capacity of 100.
jobChan := make(chan Job, 100)

// start the worker
go worker(jobChan)

// enqueue a job
jobChan <- job

以上代码创建了一个容积为 100 的 Job 对象 channel。然后创建了一个 goruntine 执行 worker 函数。worker 从 channel 中取出任务并一次处理 1 个任务。任务可以通过推送进 channel 中进行排队。

虽然只用了几行代码，却已经做很多事情。首先它安全，正确，无竞态却不用混合复杂的锁和线程代码。

另外的功能就是生产者调节。

生产者调节

创建一个容积为 100 的 channel：

// make a channel with a capacity of 100.
jobChan := make(chan Job, 100)

然后这样将任务插入队列：

// enqueue a job
jobChan <- job

如果已经有 100 个还没处理的任务在 channel 中它就会阻塞。这通常来说是一件好事情。如果有 SLA/QoS 限制或者其他假设的条件(例如任务需要一定的时间才能完成)，你肯定不想积压太多的任务。如果一个任务需要花费 1 秒钟，那么