golang实现协程池

最新推荐文章于 2024-08-22 16:54:40 发布

weixin_34306446

最新推荐文章于 2024-08-22 16:54:40 发布

阅读量229

点赞数

文章标签： golang python

原文链接：https://my.oschina.net/Alexmyj/blog/3000477

版权

2019独角兽企业重金招聘Python工程师标准>>>

golang中启动一个协程不会消耗太多资源，有人认为可以不用协程池。但是当访问量增大时，可能造成内存消耗完，程序崩溃。于是写了一个协程池的Demo。 Demo中有worker和job。worker是一个协程，在worker中完成一个job。Jobs是一个channel，使用Jobs记录job。当生成一个新任务，就发送到Jobs中。程序启动时，首先启动3个worker协程，每个协程都尝试从Jobs中接收job。如果Jobs中没有job，worker协程就等待。基本逻辑如下：

Jobs管道存放job，Results管道存放结果。程序一启动，启动3个worker协程，等待从Jobs管道中取数据。向Jobs管道中发送3个数据。关闭Jobs管道。 worker协程从Jobs管道中接收到数据以后，执行程序，把结果放到Results管道中。然后继续等待。当Jobs管道中没有数据，并且Results有3个数据时。退出主程序。

代码如下：

package main

import (
    "fmt"
    "time"
)

type Job struct {
    JobId int
}

func worker(id int) {
    go func() {
        for {
            fmt.Println("Waiting for job...")
            select {
            // Receive from channel
            case j := <-Jobs :
                if j == nil {
                    fmt.Println("Close the worker", id)
                    return
                }
                fmt.Println("worker", id, "started  job", j.JobId)
                time.Sleep(time.Second)
                fmt.Println("worker", id, "finished job", j.JobId)
                Results <- true
            }
        }
    }()
}

const channelLength = 3

var (
    Jobs chan *Job
    Results chan bool
)

func main() {
    Jobs = make(chan *Job, channelLength)
    Results = make(chan bool, channelLength)

    // Start worker goroutines
    for i:= 0; i < channelLength; i++ {
        worker(i)
    }

    // Send to channel
    time.Sleep(time.Second)
    for j := 0; j < channelLength; j++ {
        Jobs <- &Job{JobId:j}
    }
    close(Jobs)

    for len(Jobs) != 0 || len(Results) != channelLength  {
        time.Sleep(100 * time.Millisecond)
    }
    fmt.Println("Complete main")
}

转载于:https://my.oschina.net/Alexmyj/blog/3000477