Go并发范式——生成器模式

最新推荐文章于 2024-04-03 09:44:58 发布
最新推荐文章于 2024-04-03 09:44:58 发布
阅读量356 收藏 1
点赞数 1
分类专栏： Go 文章标签： golang
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43573024/article/details/121588248
版权
本文介绍了Go语言中的生成器模式，包括带缓冲的生成器、多个goroutine增强型生成器和含退出通知的生成器。通过示例代码展示了各种模式的优缺点，强调了合理缓冲、控制goroutine数量以及自动退出机制的重要性。最后，提出了融合并发、缓冲和退出通知的优化方案，以实现性能最佳并减少资源消耗。
摘要由CSDN通过智能技术生成

生成器模式

0x00 前言

  Golang作为天生支持并发的语言，本系列将介绍Go的并发范式，也会提供部分示例代码，生产中依托业务稍加修改即可。

0x01 带缓冲的生成器

代码示例如下所示

package main

import (
	"fmt"
	"math/rand"
	"runtime"
	"time"
)

// 创建数据，每创建一个暂停1秒
func generateIntA() chan int {
	ch := make(chan int, 10)
	go func() {
		for {
			ch <- rand.Int()
			time.Sleep(time.Second)
		}
	}()
	return ch
}

// 不间断读取管道中数据
func getIntA(ch chan int) {
	go func() {
		for {
			fmt.Println(<-ch)
		}
	}()
}

func main() {
    ch := generateIntA()
    getIntA(ch)
    // 睡眠五秒，使得协程能输出结果
    time.Sleep(time.Second * 5)
    // 打印当前存在的goroutine数
    fmt.Printf("runtime.NumGoroutine(): %v\n", runtime.NumGoroutine())
}

验证代码

package main

import (
	"sync"
	"sync/atomic"
	"testing"
)

func BenchmarkGenerateIntA(b *testing.B) {
	for i := 0; i < b.N; i++ {
		c := make(chan uint32, 100)

		var wg sync.WaitGroup
		wg.Add(1)

		go func() {
			defer wg.Done()

			for i := uint32(0); i < 1000; i++ {
				c <- i % 2
			}
			close(c)
		}()

		var total uint32
		for w := 0; w < 5; w++ {
			wg.Add(1)
			go func() {
				defer wg.Done()

				for {
					v, ok := <-c
					if !ok {
						break
					}
					atomic.AddUint32(&total, v)
				}
			}()
		}

		wg.Wait()
	}
}
func BenchmarkGenerateIntB(b *testing.B) {
	for i := 0; i < b.N; i++ {
		c := make(chan uint32, 1)

		var wg sync.WaitGroup
		wg.Add(1)

		go func() {
			defer wg.Done()

			for i := uint32(0); i < 1000; i++ {
				c <- i % 2
			}
			close(c)
		}()

		var total uint32
		for w := 0; w < 5; w++ {
			wg.Add(1)
			go func() {
				defer wg.Done()

				for {
					v, ok := <-c
					if !ok {
						break
					}
					atomic.AddUint32(&total, v)
				}
			}()
		}

		wg.Wait()
	}
}

得到结果

goos: windows
goarch: amd64
pkg: exp5
cpu: Intel(R) Core(TM) i5-10500 CPU @ 3.10GHz
BenchmarkGenerateIntA-12    	    9722	    125295 ns/op	     542 B/op	       3 allocs/op
BenchmarkGenerateIntB-12    	    3084	    381594 ns/op	     129 B/op	       3 allocs/op
PASS

结论

可以看出平均处理时间，有缓冲区会远快于无缓冲区

优点：消费者先获取缓冲区数据，只有当缓冲区数据全部被读取后才会进入读取阻塞状态
缺点：缓冲区不可能无限，如果并发达到一定数量仍会进入阻塞，生产者生产速度赶不上消费速度

0x02 多个goroutine增强型生成器

示例代码如下所示

// 多个goroutine增强型生成器
package main

import (
	"fmt"
	"math/rand"
	"runtime"
	"time"
)

// 创建数据A
func generateIntA() chan int {
	ch := make(chan int)
	go func() {
		for {
			ch <- rand.Int()
		}
	}()
	return ch
}

// 创建数据B
func generateIntB() chan int {
	ch := make(chan int)
	go func() {
		for {
			ch <- rand.Int()
		}
	}()
	return ch
}

// 增强型生成器，每一秒生成一个新的AB生成器
func generateInt() chan int {
	ch := make(chan int)
	go func() {
		for {
			select {
			case ch <- <-generateIntA():
				time.Sleep(time.Second)
			case ch <- <-generateIntB():
				time.Sleep(time.Second)
			}
		}
	}()
	return ch
}

// 读取管道中数据
func getIntA(ch chan int) {
	go func() {
		for {
			<-ch
			// fmt.Println(<-ch)
		}
	}()
}

func main() {
	ch := generateInt()
	getIntA(ch)
	// 等待五秒使协程能够运行
	time.Sleep(time.Second * 5)
	fmt.Printf("runtime.NumGoroutine(): %v\n", runtime.NumGoroutine())
}

基准测试结果如下

goos: windows
goarch: amd64
pkg: exp6
cpu: Intel(R) Core(TM) i5-10500 CPU @ 3.10GHz
BenchmarkGenerateInt-12     	   34491	     36177 ns/op	    7811 B/op	      32 allocs/op
BenchmarkGenerateIntA-12    	   10000	    671327 ns/op	   24202 B/op	     112 allocs/op
PASS

结论

优点：将阻塞状态出现的可能性降得更低，基本不会出现阻塞状态
缺点：生成大量goroutine，可能造成程序崩溃

0x03 含退出通知的生成器

代码示例如下所示

在此代码中，done通道作为退出通知的接收通道，利用对已关闭通道可以读取而不会引发panic的特性，不对done进行写入，当需要取消生成时，关闭done通道，select选择器可以运行读取done通道操作，从而退出生成器，结束协程。

package main

import (
	"fmt"
	"math/rand"
	"runtime"
	"time"
)

// 创建数据，每创建一个暂停1秒
func generateIntA(done chan int) chan int {
	ch := make(chan int, 10)
	go func() {
	Label:
		for {
			select {
			case ch <- rand.Int():
				time.Sleep(time.Second)
			case <-done:
				break Label
			}
		}
		close(ch)
	}()
	return ch
}

// 不间断读取管道中数据
func getIntA(ch, done chan int) {
	go func() {
	Label:
		for {
			select {
			case <-ch:
				fmt.Println(<-ch)
			case <-done:
				break Label
			}
		}
	}()
}

func main() {
	done := make(chan int)
	ch := generateIntA(done)
	getIntA(ch, done)
	// 睡眠五秒，使得协程能输出结果
	time.Sleep(time.Second * 5)
	// 发送关闭信号，停止生成
	close(done)
	// 睡眠五秒保证协程退出
	time.Sleep(time.Second * 5)
	// 打印当前存在的goroutine数
	fmt.Printf("runtime.NumGoroutine(): %v\n", runtime.NumGoroutine())
}

结论

优点：可以使生成器自动退出，减少资源消耗

0x04 融合并发、缓冲、退出通知的生成器

代码示例如下所示

// 多个goroutine增强型生成器 含推出通知机制
package main

import (
	"fmt"
	"math/rand"
	"runtime"
	"time"
)

// 创建数据A
func generateIntA(done chan struct{}) chan int {
	ch := make(chan int, 10)
	go func() {
	Label:
		for {
			select {
			case ch <- rand.Int():
				time.Sleep(time.Second)
			case <-done:
				break Label
			}
		}
		close(ch)
	}()
	return ch
}

// 创建数据B
func generateIntB(done chan struct{}) chan int {
	ch := make(chan int, 10)
	go func() {
	Label:
		for {
			select {
			case ch <- rand.Int():
				time.Sleep(time.Second)
			case <-done:
				break Label
			}
		}
		close(ch)
	}()
	return ch
}

// 增强型生成器
func generateInt(done chan struct{}) chan int {
	ch := make(chan int, 10)
	go func() {
	Label:
		for {
			select {
			case ch <- <-generateIntA(done):
			case ch <- <-generateIntB(done):
			case <-done:
				break Label
			}
		}
		close(ch)
	}()
	return ch
}

// 读取管道中数据
func getIntA(ch chan int, done chan struct{}) {
	go func() {
	Label:
		for {
			select {
			case <-ch:
				fmt.Println(<-ch)
				time.Sleep(time.Second)
			case <-done:
				break Label
			}
		}
	}()
}

func main() {
	// 规定监控通道
	done := make(chan struct{})
	ch := generateInt(done)
	getIntA(ch, done)

	// 等待五秒使协程能够运行
	time.Sleep(time.Second * 5)
	close(done)

	// 等待十五秒使协程完全退出
	time.Sleep(time.Second * 15)

	fmt.Printf("runtime.NumGoroutine(): %v\n", runtime.NumGoroutine())
}

结论

性能最佳，并且可以自动退出

0x05 总结

  1. 合理的缓冲区大小可以有效提升程序运行效率。
  2. 使用增强型生成器时要注意控制程序的goroutine数量。
  3. 自动退出机制根据具体使用场景使用如生成大批订单号时，可以临时调用生成完订单号后退出，资源临时调用。
点点点小王子
关注
专栏目录
Rust中的并发编程
AI天才研究院
07-30 1295
Rust 语言是一种安全、快速、且拥有惊人的性能优势的系统级编程语言。相比 C 和 C++等传统的编程语言而言，Rust 增加了很多高级特性，如模式匹配、迭代器、trait 对象等。这些特性使得 Rust 在编写系统软件时变得异常方便和舒适。为什么要学习 Rust 的并发编程？Rust 是目前最热门的系统级编程语言之一；Rust 有着独特的内存管理机制，可以自动处理内存分配和释放，让程序员不必担心内存泄漏的问题；Rust 提供了多线程、异步编程模型，可以轻松编写出健壮、可靠、高效率的并发程序；
编程语言发展史之：并发编程语言
AI天才研究院
09-24 1710
随着计算机系统性能的不断提高，人们越来越关注如何利用多核CPU及其软/硬件资源更好地解决各种计算密集型任务。为了解决计算密集型任务，编程语言设计者们开始思考如何充分发挥多线程、多处理器等多核特性，从而实现程序的并行化执行。本文将介绍并发编程的概念，并分析最流行的几种编程语言的发展历程，包括Go语言、Java语言、C++语言以及Python语言。通过对并发编程的特性、优缺点、应用场景进行分析，让读者能够更加全面、准确地理解并发编程的含义与意义。所谓并发编程，就是指两个或多个事件或者指令交替执行的现象。
golang struct 自动生成工具
04-29
开源地址 https://github.com/whr-helen/go-struct-auto 自动构建工具使用 安装包命令：go get github.com/whr-helen/go-struct-auto 注释：参数信息 -host host改为自己数据库的地址（默认127.0.0.1） -port port改为自己数据库的端口（默认3306） -acc acc改为自己数据库的账号（默认root） -pwd pwd改为自己数据库的密码（默认123123） -d dbname改为自己数据库的名称（必填） -path ./models改为存放路径（可选默认为./models） -t account，user改为要生成的表名称，可多个（可选默认全部生成） 一，生成数据库所有表结构体： ①推荐使用方法（支持linux或mac） 生成命令：./ bin / auto -d dbname -path ./models ②修改生成工具代码（支持linux或mac或windows）如果生成出来的结构不是我们所需要的可以修改automatic.go文件 命令：go run automatic.go -d dbname -path ./models 二，生成单个多个表结构体： 命令（支持linux或mac）：./ bin / auto -d dbname -t account，user 命令（支持linux或mac或windows）：go run automatic.go -d dbname -acc root -pwd 123123 -t account
Go 语言 设计模式-生成器模式
Ch3nnn的博客
09-15 283
生成器是一种创建型设计模式， 使你能够分步骤创建复杂对象。与其他创建型模式不同， 生成器不要求产品拥有通用接口。这使得用相同的创建过程生成不同的产品成为可能。
Go语言的编程范式
weixin_34138255的博客
11-08 304
由于比较古怪的语言特性，感觉代码的封装性是一种不同的思路。   包管理的火热程度居然没有nodejs高，这是为什么   package form import ( "encoding/gob" "reflect" "regexp" "time" ) type FormData struct { Errors map[st...
go-生成器
dalaowei的博客
12-09 772
生成器 得益于go的并发特性和channel强大的功能，go的生成器简单而高效 示例 package main import "fmt" func main() { repeat := func(done <-chan interface{}, values ...interface{}) <-chan interface{} { valueStream := make(ch...
Go 代码生成利器 Go Generate
技术能量站
08-08 2596
在Go语言中，go generate​ 命令是一个非常有用的工具，它可以帮助我们自动化地生成代码。本文将详细介绍如何使用 go generate​ 命令，并提供一些示例来说明它的用法。go generate​ 命令是一个用于自动化生成Go代码的工具。它可以在Go源文件中的特殊注释中指定命令，然后在运行 go generate​ 命令时自动执行这些命令。这些命令可以用来生成代码、格式化代码、运行测试等等。
小米 Go 开发实践——用 Go 构建高性能数据库中间件
Go中国
10-08 1575
前言在 2019年第五届 Gopher China 大会上，小米科技基础服务高级研发工程师徐成选做了题为《用 Go 构建高性能数据库中间件》的技术演讲，详细介绍了小米开源...
浅析Go语言版本的forgery
09-20
总的来说，创建一个Go语言版本的`forgery`库需要理解`forgery_py`的工作原理，然后将其转换为Go语言的结构和编程范式。这涉及到数据源的管理、数据生成函数的设计以及可能的并发优化。通过这种方式，我们可以为Go...
Dennis Ritchie—— Unix之父, C 编程语言设计者
AI天才研究院
07-28 1636
Dennis Ritchie - Unix之父,编程语言设计者》, 作者丹尼斯·里奇 ， 美国计算机科学家、实验室教授、编程语言设计者、著名UNIX系统管理员、开源运动领袖。本书对Unix历史以及UNIX生态系统进行了完整的梳理，并结合实际案例深入浅出地论述了编程语言的设计理念和原则。通过对软件工程的理论知识和工程实践的结合，作者阐述了程序开发中最基本的“优雅编码”、“可读性”、“可维护性”、“健壮性”四要素，并指出它们之间的相互关联关系，从而提高程序的质量及可靠性。
generator-go-lang：下一个golang项目的小巧但有些自以为是的生成器
01-31
Yeoman Golang生成器 非常抱歉，Gophers，但是使用了生成器的其他名称，因此我们选择go-lang 。 但是我们将gocreate作为别名。 入门 我们强烈建议使用nvm （ ）管理您的Node版本，并使用最新版本 如果您已安装 for Go软件包管理，则生成器会为您提供一个用于初始化的选项 首先，您必须安装yo ，才能使用任何 Generator。 npm i -g generator-go-lang 在$GOPATH创建您的项目。 mkdir $GOPATH/src/<username>/your-new_app && cd $_ gocreate 玩得开心！ 您也可以使用npm i -g yo并使用yo go-lang 发展历程 我们强烈建议您查阅《 Yeoman指南》以 。 最重要的是，要在本地使用生成器，您必须npm link生成器。 执照
golang中的生成器
猛犸象
12-21 1094
生成器每次返回的是序列中下一个值而非整个序列；这种特性也称之为惰性求值：只在你需要时进行求值，同时保留相关变量资源（内存和cpu）：这是一项在需要时对表达式进行求值的技术。例如，生成一个无限数量的偶数序列：要产生这样一个序列并且在一个一个的使用可能会很困难，而且内存会溢出！但是一个含有通道和go协程的函数能轻易实现这个需求。 package main import ( "fmt" ) var resume chan int func integers() chan int { yield := m
Go——并发范式（生成器）
吴声子夜歌的博客
05-03 485
生成器
go 中的范型
ldxxxxll的博客
02-03 691
在main函数中，你可以看到我们可以在不指定约束类型的情况下调用returnFirst函数，并且它是有效的，这是因为类型推理。这是因为任何约束都可以持有任何值，在上面的例子中，它是int，但它可以是任何东西，而且有可能运算符对那个特定的类型不起作用，所以它抛出一个错误。让我们再举一个例子，比如说你要计算数组中所有元素的总和，现在如果我说每次改变数组存储的数据类型，那么函数的实现将保持不变，但你必须写一个单独的函数来适应不同的类型，所以让我们写一个通用函数，将数组中的元素相加并返回总和。
Go基础系列：惰性数值生成器
weixin_33924770的博客
11-23 196
惰性数值生成器是指在需要的时候才生成下一个数值，不需要的时候就卡在那。这和python的列表推导表达式类似。惰性生成器的好处是不会一次性将全部结果返回或放进内存，而是每次只返回一个，这样不会在某一时刻大量占用内存和其它资源。 比如，要生成10W个数值，如果要迭代这10W个数值，有两种方法。第一种方法是将10W个数值全部生成好放进一个数组(或其它数据结构)，然后再去数组中取数据。第二种方法是迭代到哪...
golang 并发设计模式(一)--资源生成器模式
u010412301的博客
03-14 473
golang 并发设计模式(一)--资源生成器模式在应用系统中，常见的的应用场景就是调用一个生成器：生成订单号，序列号，随机数等。golang  goroutine为这种需求提供了强大的武器。1.简单的生成器[cpp] view plain copypackage main    import (          "fmt"          "math/rand"  )    func Gen...
golang生成器
birdf2009的博客
05-13 473
python中的生成器可以大大节省内存，golang中没有内置生成器，但可以通过channel实现。方法如下，同样非常简单。 package main import ( "fmt" ) //模拟生成器 func generator(c chan int) { for i := 0; i < 5; i++ { c <- i } close(c) //生成结束后关闭channel } func main() { var c chan int c = make(chan int)
探索Goseeder：高效的Go语言数据生成器
最新发布
gitblog_00013的博客
04-03 318
探索Goseeder：高效的Go语言数据生成器 去发现同类优质开源项目:https://gitcode.com/ 是一个强大的开源工具，专为Go开发者设计，用于快速生成大量测试或模拟数据。它将帮助你简化项目中的数据填充过程，提高开发效率，并确保测试的全面性。 项目简介 在软件开发中，尤其是进行单元测试、集成测试或性能测试时，常常需要生成大量的随机数据以覆盖各种可能的情况。Goseeder就是这样一...
《研磨设计模式》builder生成器模式（golang）
画舸覆堤
06-09 280
笔记
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值