【Go专家编程——协程】

最新推荐文章于 2024-08-25 23:08:41 发布
最新推荐文章于 2024-08-25 23:08:41 发布
阅读量905 收藏 19
点赞数 7
文章标签： golang 协程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45467608/article/details/139159861
版权

1 协程的概念

1.1 基本概念

  • 进程是应用程序的启动实例，每个进程都有独立的内存空间，不同进程通过进程间的通信方式来通信
  • 线程从属于进程，每个进程至少包含一个线程，线程是CPU调度的基本单元，多个线程之间可以共享进程的资源并通过共享内存等线程间的通信方式来通信。
  • 协程可以理解为一种轻量级的线程，协程不受操作系统调度，协程调度器由用户应用程序提供，协程调度器按照调度策略把协程调度到线程中运行。

1.2 协程优势

在高并发应用中频繁创建线程会造成不必要的开销，所以由了线程池技术。使用的时候从中取出，使用完放回即可。
当线程在任务重发生系统调用时，会发生阻塞，则该线程会暂停执行任务。如果大量的线程都发生了系统调用，则会对系统发生阻塞，使任务得不到即使的处理。

  • 增加线程池中线程的数量在一定程度上可以提高处理能力
  • 但线程的增多，也会导致上下文切换的开销变大

那么当发生阻塞时，是否可以将当前任务放在一边，先执行其他任务呢？

  • 工作在用户态的协程可以减少上下文切换的开销
  • 通过协程调度器把可运行的协程逐个调度到线程中执行，同时及时把阻塞的协程调度出协程，从而有效避免了线程的频繁切换
  • 达到使用少量线程实现高并发的效果

2 调度模型

2.1 线程模型

线程可分为用户线程和内核线程，用户线程由用户创建、同步和销毁，内核线程则由内核来管理。根据用户线程管理方式的不同，分为三种线程模型

  • N:1模型
    • 即N个用户线程运行在1个内核线程中，
    • 优点是用户线程上下文切换快
    • 缺点是无法充分利用CPU多核的算力
  • 1:1模型
    • 每个用户线程对应一个线程
    • 优点是充分利用CPU的算力
    • 缺点是线程上下文切换较慢
  • M:N模型
    • Go采用的是前两种模型的组合，M个用户线程(协程)运行在N个线程中
    • 优点充分利用CPU的算力且协程上下文切换快
    • 缺点是该模型的调度算法较为复杂

2.2 Go调度器模型

Go协程调度模型中包含三个关键实体，machine（M），processor（P）和goroutine（简称G）

  • M(machine)：工作线程，它由操作系统调度
  • P(processor)：处理器（Go定义的一个概念，不是指CPU的个数），包含运行go代码的必要资源，也有调度goroutine的能力
  • G(goroutine)：即go协程，每个go关键字都会创建一个协程

相关信息：

  • M必须持有P才可以执行代码
  • M也会被系统调用阻塞
  • P的个数在程序启动时决定，默认情况下等同于CPU的核数。但可以通过GOMAXPROCS这个环境变量指定

一个简单的调度器模型如下图所示：
在这里插入图片描述

  • 上图中包含2个工作线程M
  • 每个M持有一个P
  • 每个M中有一个协程在运行（已标记）
  • 其他背景的协程正在等待被调度，每个处理器P拥有宇哥runqueues队列
  • 此外还有一个全局的runqueues队列，由多个处理器共享

一般来说，处理器P中的协程G额外再创建的协程会被加入到本地的runqueues中；但如果本地的队列已满或阻塞的协程被唤醒，则会放入到全局的runqueues中；处理器除了调度本地的runqueues中的协程，还会周期性地从全局runqueues中摘取协程来调度。

3 调度策略

3.1 队列轮转

  • 每个处理器P维护者一个协程G的队列，处理器P依次将协程G调度到M中执行
  • 协程G执行结束后，处理器P会再次调度一个协程G到M中执行
  • 同时P会周期性查看全局变量中是否有待运行的G，并将其调度到M中运行
  • 全局变量中的G主要来自于系统调用中恢复的G
  • 周期性查看全局队列的目的是为了防止全局队列中的G长时间得不到调度机会而被“饿死”

3.2 系统调用

  • 协程发生系统调度时，对应的工作线程会被阻塞
  • 前面提到P的个数默认等于CPU的个数，每个M必须持有一个P才可以执行G
  • 一般情况下M个的个数会略大于P的个数。
  • 多出来的M将会在G发生系统调用时发生作用。
  • Go也提供了一个M的的池子，需要时从池子中获取，用完放回。不够时再创建。
    在这里插入图片描述
  • 当G0即将进入系统调用时
  • M0释放P
  • 冗余的M1获得P，继续执行P队列中剩下的G（冗余的M的来源可能是缓存池，也可能是新建的）
  • M0由于陷入系统调用而被阻塞，M1接替了M0的工作
  • 只要P不空闲，就可以充分利用CPU
  • 当G0结束系统调用后，根据能否获得P，对G0进行不同的处理
    • 如果有空闲的P，则获取一个P，继续执行G0
    • 如果没有空闲的P，则将G0放入全局队列，等待被其他P调度，然后M0将进入缓冲休眠

3.3 工作量窃取

说白了就是当前P已经将自己队列中的任务全部干完了，而全局队列中又没有新的G。于是从别人的队列中获取一半的工作量。

3.4 抢占式调度

所谓抢占式调度，是指避免某个协程长时间执行，而阻碍其他协程被调用的机制。

  • 调度器会监控每个协程执行的时间
  • 时间过长且有其他协程子在等待时
  • 会把协程暂停，转而调度等待的协程

3.5 GOMAXPROCS对性能的影响

一般来讲，程序运行时就将GOMAXPROCS的大小设置为CPU的核数，可让Go程序充分利用CPU。在某些I/O密集型的应用中，不妨把GOMAXPROCS的值设置得大一些，或许会有更好的效果。

我就是菜鸡1229
关注
Go语言高性能编程指南: Go语言高级特性介绍——协程池、channel缓冲区大小、defer语句、map的性能优化、HTTP框架benchmark性能、测试框架性能等
AI天才研究院
07-28 1120
2009年9月，Google发布了Go语言，其具有快速编译器、高效执行性能和无需担心内存泄漏等特点，受到开发者的广泛关注。自发布至今，已经经过十多年的积累，Go语言已经成为事实上的主流编程语言。其成功带动了云计算、容器技术的发展，成为最热门的云计算语言之一。截止目前，Go语言已经发展到了版本v1.16。在这篇文章中，我将通过Go语言高性能编程指南对Go语言进行全面的剖析，包括介绍语言特性、面向对象的特性、内存模型、并发编程模型、调度器、垃圾回收器、工具链等。
Go编程基础——详细讲解Golang的语法特性和运行机制
AI天才研究院
08-01 2391
Go语言（又称Golang）是Google开发的一门新的开源编程语言，在2009年发布。它主要被用于构建简单、可靠且高效的分布式系统应用。本书旨在帮助读者快速掌握Go语言的使用方法并理解其特性，能够写出更加健壮和可维护的程序。《Go编程基础》一书由五个部分构成，分别介绍了Go语言中的数据类型、流程控制语句、函数、接口、并发编程等方面的知识。每章的最后还有一个练习题，读者可以用来巩固所学的内容，提升能力。在阅读本书之前，建议先熟悉Go语言的一些基础知识和用法。
Go专家编程-定时器
wantLight的博客
02-25 284
本文为《Go专家编程》读书笔记~ Go专家编程
go的并发模型
最新发布
z3551906947的博客
08-25 1014
GMP 的基本概念GMP 模型是 Go 语言中用于实现高效并发的机制。它主要涉及三个核心概念：Goroutines（G）、Machine（M）和 Processor（P）。这些组件的设计目的是高效地调度和执行大量的 Goroutines。定义: Goroutine 是 Go 语言中的一个轻量级线程。它由 Go 运行时管理，能够并发执行任务。特点轻量级: 创建和销毁开销较小，通常内存占用较少。栈管理: Goroutine 使用动态增长的栈，初始栈小，能够根据需要增长。调度。
Go专家编程
ccf19881030的专栏
05-23 2289
Go专家编程在线文档地址: https://rainbowmango.gitbook.io/go 其Github地址为：GoExpertProgramming 这是一本开源的Go语言进阶图书，帮助初级Go程序员成为资深专家，欢迎加入~ https://rainbowmango.gitbook.io/go/
Go专家编程-控制结构、协程、内存管理
solejay
10-12 702
如果大部分任务都进行系统调用，任务队列中的任务就会产生堆积。C 语言通过内存分配器调用 malloc() 方法动态申请内存，Go 也实现了内存分配器，原理与 tcmalloc 类似，维护一块大的全局内存，每个线程（Go 中为处理器 P）维护一块小的私有内存，私有内存不足时再从全局申请。垃圾回收开始时从 root 对象开始扫描，把 root 对象引用的内存标记为 “被引用”，考虑到内存块中存放的可能是指针，所以还需要递归的进行标记，全部标记完成后，只保留被标记的内存，未被标记的全部标识为未分配即完成了回收。
Go专家编程-并发控制 Channel/WaitGroup/Context +反射
wantLight的博客
11-18 476
本文为《Go专家编程》读书笔记~ Go专家编程并发控制ChannelWaitGroup信号量数据结构Add(delta int)Wait()Done()ContextContext接口Deadline()Done()Err()Value()cancelCtxDone()接口实现Err()接口实现cancel()接口实现WithCancel()方法实现timerCtxDeadline()接口实现cancel()接口实现valueCtxValue（）接口实现tips 并发控制 协程A执行过程中需要创建子协
Go并发编程之协程及其调度机制
09-11
Go 语言以其独特的并发模型——协程（goroutine）和通道（channel）闻名于世。协程作为轻量级线程，相较于传统的线程模型，提供了更高的并发性能和更低的资源消耗。本文将深入探讨协程的概念、与线程的区别以及Go中...
Go编程语言之协程与信道
u014472777的专栏
06-08 299
协程信道基础知识简单总结 Goroutines go协程 并发go程序活动 一个程序开始时，只有唯一的协程调用main 函数 新的协程通过 go 语句创建 与普通函数地区别，go协程不等待 f() // call f(); wait for it to return go f() // create a new goroutine that calls f(); don't wait 结束方式： 从main 返回或从退出程序 Channel 信道 并发go程序活动间的连接 定义：
深入分析 Java、Kotlin、Go 的线程和协程
m0_58683072的博客
02-14 780
前言 Go 语言比 Java 语言性能优越的一个原因，就是轻量级线程Goroutines（协程Coroutine）。本篇文章深入分析下 Java 的线程和 Go 的协程。 协程是什么 协程并不是 Go 提出来的新概念，其他的一些编程语言，例如：Go、Python 等都可以在语言层面上实现协程，甚至是 Java，也可以通过使用扩展库来间接地支持协程。 当在网上搜索协程时，我们会看到： Kotlin 官方文档说「本质上，协程是轻量级的线程」。 很多官方文档也提到「不需要从用户态切换到内核
Go专家编程-协程
wantLight的博客
11-17 384
本文为《Go专家编程》读书笔记~ Go专家编程协程线程池的缺陷Goroutine调度器Goroutine调度策略队列轮转系统调用工作量窃取GOMAXPROCS设置对性能的影响 协程 线程池的缺陷 任务队列中的每一个任务称作G，而G往往代表一个函数。线程池中的线程worker线程不 断的从任务队列中取出任务并执行。而worker线程的调度则交给操作系统进行调度。 如果worker线程执行的G任务中发生系统调用，则操作系统会将该线程置为阻塞状态，也意味着该线程在怠工，也意 味着消费任务队列的worker线
Go专家编程 map篇
zhangdell的专栏
03-09 315
详细参考Golang map分析_zhangdell的专栏-CSDN博客 无序的基于key----value的结构 map是引用类型，必须初始化才能使用。 var m2 map[string]string//未初始化 fmt.Printf("main11111m2 outer address=%p, m=%p,m=%v \n", &m2,m2,m2) //main11111m2 outer address=0xc00008c020, m=0x0,m=map[] 从map的内部结构可知..
Go专家编程 全书笔记
qq_31220203的博客
09-16 459
Go专家编程 全书笔记
Go专家编程-并发控制、反射
solejay
10-12 301
/ 接口定义 src/context/context.go type Context interface {} }没有设置 deadline 时，ok==false，deadline 为初始化 time.Time 值返回探测 Context 是否取消的 channel，Context 取消时自动将 channel 关闭对于不支持取消的 Context，返回 nil，如 context.Background()描述 context 关闭的原因。
Go专家编程 defer篇
zhangdell的专栏
03-09 223
一：defer规则： 1：延迟函数的参数在defer语句出现时就已经确定下来了 2：延迟函数执行按后进先出顺序执行，即先出现的defer最后执行 3：延迟函数可能操作主函数的具名返回值 二：return return不是原子操作，return i具体执行过程，1给返回值赋值(若有)，2执行defer(若有)，3执行跳转 三：derfer实现原理 type _defer struct { sp uintptr //函数栈指针 pc uintptr /
Go专家编程读书小记
paidx0
01-10 890
Go专家编程读书小记
【Go专家编程——泛型】
qq_45467608的博客
06-05 1071
泛型是程序设计语言的一种风格或范式，它允许程序员在编写代码时使用一些在以后才指定的类型，在实例化时作为参数指明这些类型。Go在1.18引入了泛型。
读《GO专家编程》
程序员写的技术 FAQ 和杂文
10-12 759
华为工程师（任洪彩）写的书，是一本讲 go 特性及底层实现的书，当然也是有讲 GO 的语法的。 画了一个思维导图。对我个人非常有意义的一本书。
Go语言中的并发并行与协程——CSP与Goroutines解析
"并发并行和协程是数字通信基础中的重要概念，特别是在Go语言中有着独特的应用。Go入门指南详细介绍了这些概念以及如何在Go语言中有效地利用它们。" 并发和并行是处理多任务的两种策略。并发是指在一段时间内交替...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值