【Golang】Go调度器(scheduler)与channel

go程序的运行,以goroutine为单位,而goroutine实际运行在某个系统线程内。goroutine(可以非常多)和系统线程(相对比较少)并非一一对应。调度时,既有os调度线程,也有go调度器本身调度goroutine。简言之,go原生支持并发,go调度器负责将各个goroutine调度到不同的操作系统线程中取执行。

通过go关键字启动一个协程来运行函数:

go func()
三个定义:
  • G: goroutine,就是平常提到的go中的协程
  • P: process,处理器,有的文章说代表上下文,也可以理解为附带有上下文信息的令牌
  • M: machine,线程,就是平常提到的操作系统中的线程

Go早期是GM模型,后来因为性能问题转而使用GPM模型。

执行机制:
  • M绑定P,才可以不断去运行(不同的可执行的)G,可抢占式调度(靠sysmon)
  • P有自己的G队列(无锁访问,快);同时,程序也有一个全局的G队列
  • M执行一些系统调用的时候,可能会与P解除绑定;M也可能休眠

M, P, G 三者数量各异,M默认10000(SetMaxThreads更改,一般不用),P默认是机器CPU核数(可由GOMAXPROCS指定),G没有明确限制(通过go指令创建)。

GM到GPM

早期,GM模型有诸多问题,例如全局锁,M缓存内存占用浪费等,详见《Scalable Go Scheduler Design》。

通俗地讲,G要运行,需要绑定一个P(放在P的本地队列里),然后由与P绑定的操作系统线程M真正执行。
G切换时,只是M从G1切到G2而已,都是在用户态进行着,非常轻量,不像操作系统切换M时比较重。
P的本地队列中缺少G时,会从其他P的队列里“偷”一些或者从全局队列里取。

借助于netpoller,发起网络调用时,G阻塞,M不阻塞,切换G即可。而发起文件IO等操作时,会执行(阻塞的)系统调用,(注:现在应该实现了部分poller for os package),此时M也会等待系统调用的返回。M和G一起,会解除与P的绑定。如果P的本地队列还有其他G,就会绑定另外一个空闲的M,如果没有,则新建一个M,然后继续执行可以执行的G。

调度器实现了抢占

也就是说如果一个G执行太久,是会被切换出去的。
这样可以确保整个程序看起来是“并发”执行的,而不是一个G可以执行时就是一直执行,其他G都饿死。
但是切换点需要是函数调用。假设G中是不调函数的纯无限循环计算,还是无法被抢占。

什么时候G会被调度:
  • 被sysmon设置为抢占
  • channel阻塞或网络IO
  • mutex等同步导致阻塞
  • 使用go关键字创建goroutine
  • GC过程中各种策略导致的调度
  • runtime中,网络IO的实现采用了kqueue (MacOS), epoll (Linux)或iocp (Windows) 。
查看各种调度状态:

执行命令的时候,设置GODEBUG环境变量。例如:GODEBUG=schedtrace=1000,scheddetail=1 godoc -http=:6060

P有local队列的好处

其实好处有好几点。比较明显的是,GM模型里面,M切换G时,需要从全局队列里面取,需要加锁。GPM中,M绑定着P,M切换的G都在P的本地G队列中,不需要锁。

P默认是机器逻辑核数

因为超线程技术的存在,逻辑核数会与物理核数不同。下面的语句可以打印出逻辑核数,通过GOMAXPROCS设置时,可别弄错了。

fmt.Println(runtime.NumCPU())
M默认是10000

M对应的是sched.maxmcount,默认10000。通过SetMaxThreads可修改,如果程序使用超过这个数,会自动crash!

// 改动时也会检查,并不能随意设置值
if in > 0x7fffffff {
    // MaxInt32
    sched.maxmcount = 0x7fffffff
} else {
   
    sched.maxmcount = int32(in)
}
goroutine异常捕捉

当启动多个goroutine时,如果其中一个goroutine异常了,并且我们并没有对进行异常处理,那么整个程序都会终止,所以我们在编写程序时候最好每个goroutine所运行的函数都做异常处理,异常处理采用recover。

package main

import (
    "fmt"
    "time"
)

func addele(a []int ,i int)  {
   
    defer func() {
       //匿名函数捕获错误
        err := recover()
        if err != nil {
   
            fmt.Println("add ele fail")
        }
    }()
   a[i]=i
   fmt.Println(a)
}

func main() {
   
    Arry := make([]int,4)
    for i :=0 ; i<10 ;i++{
   
        go addele(Arry,i)
    }
    time.Sleep(time.Second * 2)
}

运行结果为:

add ele fail
[0 0 0 0]
[0 1 0 0]
[0 1 2 0]
[0 1 2 3]
add ele fail
add ele fail
add ele fail
add ele fail
add ele fail
同步的goroutine

由于goroutine是异步执行的,那很有可能出现主程序退出时还有goroutine没有执行完,此时goroutine也会跟着退出。此时如果想等到所有goroutine任务执行完毕才退出,go提供了sync包和channel来解决同步问题。

使用sync包同步goroutine:

package main

import (
    "fmt"
    "sync"
)

func cal(a int , b int ,n *sync.WaitGroup)  {
   
    c := a+b
    fmt.Printf("%d + %d = %d\n"
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值