goroutine池的实现

goroutine池是一种管理goroutine的方式,它可以控制同时运行的goroutine的数量,避免因为创建过多的goroutine而导致的资源耗尽

  • 首先创建了一个WorkerPool结构体,它包含一个jobs通道和一个sync.WaitGroup。 jobs通道用于接收任务,
    sync.WaitGroup用于等待所有的goroutine完成。
  • NewWorkerPool函数创建一个新的WorkerPool,并启动指定数量的goroutine。每个goroutine都会从jobs通道中读取任务并执行。
  • AddJob函数将一个新的任务添加到jobs通道。 Wait函数关闭jobs通道,并等待所有的goroutine完成。
  • 在main函数中,创建了一个新的WorkerPool,并添加了10个任务。每个任务都是一个简单的函数,它打印一条消息。然后调用Wait函数等待所有的任务完成
package main

import (
	"fmt"
	"sync"
)

type Job func()

type WorkerPool struct {
	jobs    chan Job
	wg      sync.WaitGroup
}

func NewWorkerPool(maxGoroutines int) *WorkerPool {
	pool := &WorkerPool{
		jobs: make(chan Job),
	}

	pool.wg.Add(maxGoroutines)
	for i := 0; i < maxGoroutines; i++ {
		go func() {
			for job := range pool.jobs {
				job()
			}
			pool.wg.Done()
		}()
	}

	return pool
}

func (p *WorkerPool) AddJob(job Job) {
	p.jobs <- job
}

func (p *WorkerPool) Wait() {
	close(p.jobs)
	p.wg.Wait()
}

func main() {
	pool := NewWorkerPool(5)

	for i := 0; i < 10; i++ {
		i := i
		pool.AddJob(func() {
			fmt.Printf("Job %d is running\n", i)
		})
	}

	pool.Wait()
}

每个goroutine都会不断地从pool.jobs这个channel中获取job,完成一个job后会继续获取下一个job,直到pool.jobs被关闭。因此,每个goroutine完成的job是不确定的,它取决于它何时从pool.jobs获取到job。

如果想在打印日志时知道一个job是由哪个goroutine完成的,可以在每个goroutine启动时为其分配一个唯一的ID,然后在执行job时将这个ID传递给job。这样,当job在执行时,它就可以知道自己是由哪个goroutine执行的。

下面代码为每个goroutine分配了一个唯一的ID,并在执行job时打印这个ID
首先修改了Job类型,使其接收一个goroutine ID作为参数。然后在NewWorkerPool函数中,为每个goroutine分配了一个唯一的ID,并在启动goroutine时将这个ID传递给它。

package main

import (
	"fmt"
	"sync"
)

type Job func(id int)

type WorkerPool struct {
	jobs chan Job
	wg   sync.WaitGroup
}

func NewWorkerPool(maxGoroutines int) *WorkerPool {
	pool := &WorkerPool{
		jobs: make(chan Job),
	}

	pool.wg.Add(maxGoroutines)
	for i := 0; i < maxGoroutines; i++ {
		go func(id int) {
			for job := range pool.jobs {
				job(id)
			}
			pool.wg.Done()
		}(i)
	}

	return pool
}

func (p *WorkerPool) AddJob(job Job) {
	p.jobs <- job
}

func (p *WorkerPool) Wait() {
	close(p.jobs)
	p.wg.Wait()
}

func main() {
	pool := NewWorkerPool(5)

	for i := 0; i < 10; i++ {
		i := i
		pool.AddJob(func(id int) {
			fmt.Printf("Job %d is running by goroutine %d\n", i, id)
		})
	}

	pool.Wait()
}

  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
实现一个 goroutine 的一般步骤如下: 1. 定义一个任务队列,用于存储待执行的任务; 2. 定义一个 worker ,用于存储 goroutine; 3. worker 中的 goroutine 从任务队列中获取任务,执行任务; 4. 当任务队列为空时,worker 中的 goroutine 进入休眠状态; 5. 当新任务到达时,唤醒一个休眠的 goroutine,让其执行任务。 下面给出一个可能的实现方案: ```go type Job func() type Pool struct { jobChan chan Job workers []*Worker } type Worker struct { pool *Pool taskChan chan Job } func NewWorker(pool *Pool) *Worker { return &Worker{ pool: pool, taskChan: make(chan Job), } } func (w *Worker) Start() { go func() { for { w.pool.workerChan <- w task := <- w.taskChan task() } }() } func NewPool(numWorkers int) *Pool { pool := &Pool{ jobChan: make(chan Job), workers: make([]*Worker, numWorkers), } for i := 0; i < numWorkers; i++ { worker := NewWorker(pool) pool.workers[i] = worker worker.Start() } go pool.dispatch() return pool } func (p *Pool) dispatch() { for { select { case job := <- p.jobChan: worker := <- p.workerChan worker.taskChan <- job } } } func (p *Pool) AddJob(job Job) { p.jobChan <- job } ``` 以上代码实现了一个 goroutine 的基本功能。在 `NewPool()` 函数中创建了指定数量的 worker,并启动了它们。在 `dispatch()` 函数中,监听了任务队列 `jobChan`,当有新任务到来时,从 worker 中获取一个 worker,将任务分配给它执行。在 `AddJob()` 函数中,向任务队列中添加一个任务。 对于请求量大于消费能力的情况,可以考虑以下几种方案: 1. 增加 worker 数量,提高消费能力; 2. 增加任务队列长度,缓解请求量过大的压力; 3. 采用限流策略,例如令牌桶算法、漏桶算法等,限制请求的速率; 4. 根据负载情况,动态调整 worker 数量,实现自适应扩缩容。 以上方案可以根据实际情况选择合适的方案进行实现

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值