Go by Example: Worker Pools

英文源地址
在这个例子中, 我们将看看如何使用goroutine和channel实现一个工作池(worker pool).

package main

import (
	"fmt"
	"time"
)

// 下面是worker函数,我们将运行它的几个并发实例.
// 这些workers将从jobs上接收到work,并在results上发送相应的结果
// 我们将在每个作业中sleep一秒, 以模拟一个代价高昂的任务.
func worker(id int, jobs <-chan int, results chan<- int) {
	for j := range jobs {
		fmt.Println("worker", id, "started job", j)
		time.Sleep(time.Second)
		fmt.Println("worker", id, "finished job", j)
		results <- j * 2
	}
}

func main() {
	// 为了使用我们的workers pool,我们需要向它们发送work并收集它们的结果.
	// 为此我们做了2个通道
	const numJobs = 5
	jobs := make(chan int, numJobs)
	results := make(chan int, numJobs)

	// 这启动了3个workers, 最初阻塞是因为它们还没有jobs
	for w := 1; w <= 3; w++ {
		go worker(w, jobs, results)
	}

	// 这里我们发送了5个jobs, 然后关闭通道, 以表明这是我们所有的work
	for j := 1; j <= numJobs; j++ {
		jobs <- j
	}
	close(jobs)

	// 最后我们收集了所有的work结果.
	// 这也确保了worker goroutine已经完成
	// 等待多个协程的另一种方法是使用WaitGroup.
	for a := 1; a <= numJobs; a++ {
		<-results
	}
}

我们正在运行的程序展示了由不同工人执行的5个jobs.该程序只需要大约2秒, 尽管完成了大约5秒的总工作, 因为有3个worker在并发操作

╰─ time go run ./main.go                                                                                          ─╯ 
worker 3 started job 1
worker 1 started job 2
worker 2 started job 3
worker 3 finished job 1
worker 2 finished job 3
worker 2 started job 5
worker 1 finished job 2
worker 3 started job 4
worker 2 finished job 5
worker 3 finished job 4
go run ./main.go  0.20s user 0.06s system 11% cpu 2.245 total

下一节将介绍: WaitGroups