golang worker pool ,工作池,线程池

gowp

golang worker pool ,线程池 , 工作池

  • 并发限制goroutine池。

  • 限制任务执行的并发性,而不是排队的任务数。

  • 无论排队多少任务,都不会阻止提交任务。

  • 通过队列支持

  • golang 工作池公共库

支持最大任务数, 放到工作池里面 并等待全部完成

package main

import (
	"fmt"
	"time"

	"github.com/xxjwxc/gowp/workpool"
)

func main() {
	wp := workpool.New(10)             //设置最大线程数
	for i := 0; i < 20; i++ { //开启20个请求
		ii := i
		wp.Do(func() error {
			for j := 0; j < 10; j++ { //每次打印0-10的值
				fmt.Println(fmt.Sprintf("%v->\t%v", ii, j))
				time.Sleep(1 * time.Second)
			}
			//time.Sleep(1 * time.Second)
			return nil
		})
	}

	wp.Wait()
	fmt.Println("down")
}

支持错误返回

package main

import (
	"fmt"
	"time"

	"github.com/xxjwxc/gowp/workpool"
)

func main() {
	wp := workpool.New(10)             //设置最大线程数
	for i := 0; i < 20; i++ { //开启20个请求
		ii := i
		wp.Do(func() error {
			for j := 0; j < 10; j++ { //每次打印0-10的值
				fmt.Println(fmt.Sprintf("%v->\t%v", ii, j))
				if ii == 1 {
					return errors.Cause(errors.New("my test err")) //有err 立即返回
				}
				time.Sleep(1 * time.Second)
			}

			return nil
		})
	}

	err := wp.Wait()
	if err != nil {
		fmt.Println(err)
	}
	fmt.Println("down")
	}

支持判断是否完成 (非阻塞)

package main

import (
	"fmt"
	"time"

	"github.com/xxjwxc/gowp/workpool"
)

func main() {
	wp := workpool.New(5)              //设置最大线程数
	for i := 0; i < 10; i++ { //开启20个请求
		//	ii := i
		wp.Do(func() error {
			for j := 0; j < 5; j++ { 
				//fmt.Println(fmt.Sprintf("%v->\t%v", ii, j))
				time.Sleep(1 * time.Second)
			}
			return nil
		})

		fmt.Println(wp.IsDone())//判断是否完成
	}
	wp.Wait()
	fmt.Println(wp.IsDone())
	fmt.Println("down")
}

支持同步等待结果

package main

import (
	"fmt"
	"time"

	"github.com/xxjwxc/gowp/workpool"
)

func main() {
	wp := workpool.New(5)              //设置最大线程数
	for i := 0; i < 10; i++ { //开启20个请求
		ii := i
		wp.DoWait(func() error {
			for j := 0; j < 5; j++ {
				fmt.Println(fmt.Sprintf("%v->\t%v", ii, j))
				// if ii == 1 {
				// 	return errors.New("my test err")
				// }
				time.Sleep(1 * time.Second)
			}

			return nil
			//time.Sleep(1 * time.Second)
			//return errors.New("my test err")
		})
	}

	err := wp.Wait()
	if err != nil {
		fmt.Println(err)
	}
	fmt.Println("down")
}

代码地址:gowp
喜欢请给星

Golang 中,可以通过使用 `goroutine` 和 `channel` 来实现线程池。下面是一个示例代码: ```go package main import ( "fmt" "sync" ) type Job struct { id int } type Result struct { job Job sum int } func worker(id int, jobs <-chan Job, results chan<- Result) { for job := range jobs { sum := 0 for i := 1; i <= job.id; i++ { sum += i } results <- Result{job, sum} } } func main() { numJobs := 10 numWorkers := 3 jobs := make(chan Job, numJobs) results := make(chan Result, numJobs) // 创建并启动多个 worker var wg sync.WaitGroup for i := 1; i <= numWorkers; i++ { wg.Add(1) go func(workerID int) { defer wg.Done() worker(workerID, jobs, results) }(i) } // 添加任务到 jobs 通道 for i := 1; i <= numJobs; i++ { jobs <- Job{i} } close(jobs) // 处理结果 go func() { wg.Wait() close(results) }() // 输出结果 for result := range results { fmt.Printf("Job ID: %d, Sum: %d\n", result.job.id, result.sum) } } ``` 在上面的示例中,我们创建了一个 `Job` 结构来表示要执行的任务,并且创建了一个 `Result` 结构来存储任务的结果。然后,我们使用两个通道 `jobs` 和 `results` 分别来传递任务和结果。 我们创建了多个 worker 来处理任务,每个 worker 都会从 `jobs` 通道中接收任务,并将结果发送到 `results` 通道中。在主函数中,我们首先创建了 `jobs` 和 `results` 通道,并将所有的任务添加到 `jobs` 通道中。然后,我们使用 `sync.WaitGroup` 来等待所有的 worker 完成任务,并关闭 `results` 通道。最后,我们从 `results` 通道中读取结果并输出。 这样,就实现了一个简单且优雅的线程池。每个 worker 都可以并行处理任务,而无需手动管理 goroutine 的数量。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值