Golang协程池的使用

背景

系统开发部分需求涉及到了多任务执行，而多任务执行过程中需要处理并发问题，都知道Golang本身是支持高并发的，其实很多语言都支持并发，像Java也可以创建多个线程（Thread），但是为什么要强调Golang支持高并发呢？那是因为Golang并发执行100w个协程。（coroutine）也不会觉得特别吃力，但是Java并发执行1w个线程（Thread）其性能下降就显而易见了，因此支持高并发也是Golang的特性之一。

Golang的并发是通过协程来实现支持的，Go中main函数入口本身是一个主协程，如果我们没有创建子协程，那么这种程序执行模式就是串行（即一件事情做完再做另外一件事）

可想而知这种模式效率低下，所以多用户量的网站使用这种网络请求模式不可取。并行的话（同一时间多个任务同时执行），这种模式不太现实，因为没有那么多核的CPU。那就只剩下并发模式了（同一时间段内多个任务交替间隔执行），Golang每个协程执行的都是一个函数。

Golang使用协程处理并发任务效率比较高，但是我们在实际的开发过程中真的给每个任务都新开一个子协程吗？启动子协程越多占用的系统资源越多，那么程序的执行效率反而会受到影响，因此需要使用协程池来限制协程的启动数量。

实现方案

协程池的实现是有入口队列entryChannel和任务队列jobChannel以及具体做任务的协程worker组成，画图如下：

package main
import (
   "fmt"
   "time"
)
//golang协程池 使用
/* 有关Task任务相关定义及操作 */
//定义任务Task类型,每一个任务Task都可以抽象成一个函数
type Task struct {
   fu func() error //一个无参的函数类型
}
//通过NewTask来创建一个Task
func NewTask(f func() error) *Task {
   t := Task{
      fu: f,
   }
   return &t
}
//执行Task任务的方法
func (t *Task) Execute() {
   _ = t.fu() //调用任务所绑定的函数
}
/* 有关协程池的定义及操作 */
//定义池类型
type Pool struct {
   //对外接收Task的入口
   EntryChannel chan *Task
   //协程池最大worker数量,限定Goroutine的个数
   worker_num int
   //协程池内部的任务就绪队列
   JobsChannel chan *Task
}

//创建一个协程池
func NewPool(cap int) *Pool {
   p := Pool{
      EntryChannel: make(chan *Task),
      worker_num:   cap,
      JobsChannel:  make(chan *Task),
   }
   return &p
}
//协程池创建一个worker并且开始工作
func (p *Pool) worker(work_ID int) {
   //worker不断的从JobsChannel内部任务队列中拿任务
   for task := range p.JobsChannel {
      //如果拿到任务,则执行task任务
      task.Execute()
      fmt.Println("worker ID ", work_ID, " 执行完毕任务")
   }
}
//让协程池Pool开始工作
func (p *Pool) Run() {
   //1,首先根据协程池的worker数量限定,开启固定数量的Worker,
   //  每一个Worker用一个Goroutine承载
   for i := 0; i < p.worker_num; i++ {
      go p.worker(i)
   }
   //2, 从EntryChannel协程池入口取外界传递过来的任务
   //   并且将任务送进JobsChannel中
   for task := range p.EntryChannel {
      p.JobsChannel <- task
   }
   //3, 执行完毕需要关闭JobsChannel
   close(p.JobsChannel)
   //4, 执行完毕需要关闭EntryChannel
   close(p.EntryChannel)
}
//主函数
func main() {
   //创建一个Task
   t := NewTask(func() error {
      fmt.Println(time.Now())
      return nil
   })
   //创建一个协程池,最大开启3个协程worker
   p := NewPool(3)
   //开一个协程 不断的向 Pool 输送打印一条时间的task任务
   go func() {
      for {
         p.EntryChannel <- t
      }
   }()
   //启动协程池p
   p.Run()
}

测试效果

总结

理论上资源够可以开很多很多协程， main就是一个主协程，其他协程，无论是协程里面又开启的协程，其实理论上都从属于main主协程。协程的通讯和控制就依赖于channel通道和context包，而协程的代码一定注意不要有死循环或者无限制等待的阻塞任务，不然除非main退出，子协程是无法退出的，他不像进程这样，你还可以通过kill等命令强制结束，context的控制逻辑其实也是要代码执行到判断逻辑主动退出的，如果之前就阻塞或者死循环，那就无法退出了。当然就像上面可以自己控制实现一个协程池来管控一下。