c ringbuffer 源码_golang chan 最详细原理剖析，全面源码分析！看完不可能不懂的！...

大纲

• channel 是什么？
• channel 使用姿势
  • chan 创建
  • chan 入队
  • chan 出队
  • 结合 select 语句
  • 结合 for-range 语句
• 源码解析
  • `makechan`
  • hchan 结构
  • chansend
  • chanrecv
  • selectnbsend
  • selectnbrecv
  • selectnbrecv2
  • chanrecv2
• 总结

概述

chan 是 golang 的最重要的一个结构，是区别于其他高级语言的最重要的特色之一，也是 goroutine 通信必须要的要素之一。很多人用它，但是很少人彻底理解过它，甚至 c <- x ，<-c 这样的语法可能都记不清晰，怎么办？本文教你从源码编译器的角度全方位的剖析 channel 的用法。

channel 是什么？

本质上就实现角度来讲，golang 的 channel 就是一个环形队列（ringbuffer）的实现。我们称 chan 为管理结构，channel 里面可以放任何类型的对象，我们称之为元素。

我们从 channel 的使用姿势入手，讲解最详细的 channel 使用方法。

channel 使用姿势

我们从宏观的 chan 使用姿势入手，总结来讲，有以下几种姿势：

• chan 的创建
• chan 入队
• chan 出队
• select 和 chan 结合
• for-range 和 chan 结合

chan 创建

创建一个 channel ，一般用户使用姿势有两种，分别是创建有 buffer 和没有 buffer 的 channel 。

// no buffer 的 channel
c := make(chan int)
// 自带 buffer 的 channel 
c1 := make(chan int , 10)

这个对应了实际函数是 makechan ，位于 runtime/chan.go 文件里。

chan 入队

用户使用姿势：

c <- x

对应函数实现 chansend ，位于 runtime/chan.go 文件。

chan 出队

用户使用姿势：

v := <-c
v, ok := <-c

对应函数分别是 chanrecv1 和 chanrecv2 ，位于 runtime/chan.go 文件。

结合 select 语句

用户使用姿势：

select {
case c <- v:
 //  ... foo
default:
 //  ... bar
}

对应函数实现为 selectnbsend , 位于 runtime/chan.go 文件中。

用户使用姿势：

select {
case v = <-c:
 //  ... foo
default:
 //  ... bar
}

对应函数实现为 selectnbrecv , 位于 runtime/chan.go 文件中。

用户使用姿势：

select {
case v, ok = <-c:
 //  ... foo
default:
 //  ... bar
}

对应函数实现为 selectnbrecv2 , 位于 runtime/chan.go 文件中。

结合 for-range 语句

用户使用姿势：

for m := range c {
    // ...   do something
}

对应使用函数 chanrecv2 ，位于 runtime/chan.go 文件中。

源码解析

上面我们通过宏观的用户使用姿势，了解清楚了不同的使用姿势对应了不同实现函数（这个翻译是编译器来做的），我们接下来就是仔细看下这些函数的实现。

makechan

负责 channel 的创建，当我们 go 程序里写类似 v := make(chan int) 的初始化语句，就会相应的调用不同类型对应的初始化函数，其中 channel 的初始化函数就是 makechen 。

runtime.makechan

定义原型：

func makechan(t *chantype, size int) *hchan {
}

通过这个，我们能得知到，声明创建一个 channel ，本质上是得到了一个 hchan 的指针，所以 channel 的核心结构就是基于 hchan 来实现的。

其中 t 参数是指明元素类型：

type chantype struct {
 typ  _type
 elem *_type
 dir  uintptr
}

size 指明这个 channel buffer 槽位有多少。如果是带 buffer 的 channel，比如那么 size 就是槽位数，如果没有指定，那么就是 0；

// size == 0
a := make(chan int)
// size == 2
b := make(chan int, 2)

我们看下 makechan 做的事情，其实很简单，就只做了两件事：

func makechan(t *chantype, size int) *hchan {
    // 参数校验
    // 初始化 hchan 结构
}

参数校验无非就是一些越界，或者 limit 的校验。

初始化 hchan 则简单的分为三种情况：

switch {
// no buffer 的场景，这种 channel 可以看成 pipe；
case mem == 0:
    c = (*hchan)(mallocgc(hchanSize, nil, true))
    c.buf = c.raceaddr()
// channel 元素不含指针的场景，那么是分配出一个大内存块；
case elem.ptrdata == 0:
    c = (*hchan)(mallocgc(hchanSize+mem, nil, true))
    c.buf = add(unsafe.Pointer(c), hchanSize)
// 默认场景，hchan 结构体和 buffer 内存块单独分配；
default:
    c = new(hchan)
    c.buf = mallocgc(mem, elem, true)
}

1. 如果是不带 buffer 的 channel ，那么只需要分配出一个 hchan 结构体即可；
2. 如果 channel 元素（elem）内不含指针，那么 hchan 和 buffer 其实是可以在一起分配的，hchan 和 elem buffer 的内存块连续；
3. 如果 channel 元素（elem）是带有指针的，那么 hchan 和 buffer 就不能分配在一起，所以先 new 一个 hchan 结构，再单独分配 elem buffer 数组；

所以我们看到除了 hchan 结构体本身的内存分配，该结构体初始化的关键在于四个字段：

// channel 的元素 buffer 数组地址；
c.buf = mallocgc(mem, elem, true)
// channel 元素大小，如果是 int，那么就是 8 字节；
c.elemsize = uint16(elem.size)
// 元素类型，这样就知道 channel 里面每个元素究竟是啥了；
c.elemtype = elem
// 元素 buffer 数组的大小，比如 make(chan int, 2)，那么这里赋值的就是 2；
c.dataqsiz = uint(size)

hchan 结构

makechan 函数负责创建了 chan 的核心结构-hchan，接下来我们再仔细分析下 hchan 结构体本身。

type hchan struct {
 qcount   uint           // queue 里面有效用户元素，这个字段是在元素出对，入队改变的；
 dataqsiz uint           // 初始化的时候赋值，之后不再改变，指明数组 buffer 的大小；
 buf      unsafe.Pointer // 指明 buffer 数组的地址，初始化赋值，之后不会再改变；
 elemsize uint16  // 指明元素的大小，和 dataqsiz 配合使用就能知道 buffer 内存块的大小了；
 closed   uint32
 elemtype *_type // 元素类型，初始化赋值；
 sendx    uint   // send index
 recvx    uint   // receive index
 recvq    waitq  // 等待 recv 响应的对象列表，抽象成 waiters
 sendq    waitq  // 等待 sedn 响应的对象列表，抽象成 waiters

 // 互斥资源的保护锁，官方特意说明，在持有本互斥锁的时候，绝对不要修改 Goroutine 的状态，不能很有可能在栈扩缩容的时候，出现死锁
 lock mutex
}

在 makechan 我们就看到初始化的时候其实只会初始化四个核心字段：

1. buf ：指明 buffer 地址
2. elemsize ：指明元素大小
3. elemtype ：指明元素类型
4. dataqsiz ：指明数组大小

我们使用 channel 的时候知道，channel 常常会因为两种情况阻塞，1）投递的时候没有空间了，2）取出的时候还未有元素。

// 如果 c 没有空间了，那么这行代码就会 hang 住，goroutine 会把执行权限让出去，直到有 buffer 空间，才会返回；
c <- x

// 如果 c 里面没有用户元素，那么这行代码会 hang 住，goroutine 切走，直到取到一个元素，这行代码才会返回；
<- c

从以上描述来说，就涉及到 goroutine 阻塞和 goroutine 唤醒，这个功能就跟 recvq，sendq 这两个字段有关。

 recvq    waitq  // list of recv waiters
 sendq    waitq  // list of send waiters

waitq 类型其实就是一个双向列表的实现，和 linux 里面的 LIST 实现非常相像。

type waitq struct {
 first *sudog
 last  *sudog
}

chansend

chansend 函数是在编译器解析到 c <- x 这样的代码的时候插入的，本质上就是把一个用户元素投递到 hchan 的 ringbuffer 中。chansend 调用的时候，一般用户会遇到两种情况：

1. 投递成功，非常顺利，正常返回；
2. 投递受阻，该函数阻塞，goroutine 切走；

接下来，我们看下 chansend 究竟是做了什么。

func chansend(c *hchan, ep unsafe.Pointer, block bool, callerpc uintptr) bool {
    // channel 的所有操作，都在互斥锁下；
    lock(&c.lock)
    // 如果投递的目标是已经关闭的 channel，那么直接 panic；
    if c.closed != 0 {
        unlock(&c.lock)
        panic(plainError("send on closed channel"))
    }
    // 场景一：性能最好的场景，我投递的元素刚好有人在等着（那我直接给他就完了）;
    // 调用的是 send 函数，这个函数后面详细阐述，其实非常简单，递增 sendx, recvx 的索引，然后直接把元素给到等他的人，并且唤醒他；
    if sg := c.recvq.dequeue(); sg != nil {
        send(c, sg, ep, func() { unlock(&c.lock) }, 3)
        return true
    }
    // 场景二：ringbuffer 还有空间，那么把元素放好，递增索引，就可以返回了；
    if c.qcount < c.dataqsiz {
        // 复制，赋值好元素；
        qp := chanbuf(c, c.sendx)
        typedmemmove(c.elemtype, qp, ep)
        // 递增索引
        c.sendx++
        // 回环空间
        if c.sendx == c.dataqsiz {
            c.sendx = 0
        }
        // 递增元素个数
        c.qcount++
        unlock(&c.lock)
        return true
    }
    // 判断是否需要阻塞？如果是非阻塞的，那么就直接解锁返回了，如果是阻塞的场景，那么就会走到下面的逻辑哦；
    // chan <- 和 <-chan 的场景，都是 true，但是会有其他场景这里是 false，可以提前想下？
    if !block {
        unlock(&c.lock)
        return false
    }
    // 代码走到这里，说明都是因为条件不满足，要阻塞当前 goroutine，所以做的事情本质上就是保留好通知路径，等待条件满足，会在这个地方唤醒；
    gp := getg()
    mysg := acquireSudog()
    mysg.releasetime = 0
    mysg.elem = ep
    mysg.waitlink = nil
    mysg.g = gp
    mysg.isSelect = false
    mysg.c = c
    gp.waiting = mysg
    gp.param = nil
    // 把 goroutine 相关的线索结构入队，等待条件满足的唤醒；
    c.sendq.enqueue(mysg)
    // goroutine 切走，让出 cpu 执行权限；
    gopark(chanparkcommit, unsafe.Pointer(&c.lock), waitReasonChanSend, traceEvGoBlockSend, 2)

    // 到这就是某些人唤醒该 goroutine 了。
    // 下面就是唤醒之后的逻辑了；
    if mysg != gp.waiting {
        throw("G waiting list is corrupted")
    }
    // 做一些资源的释放和环境的清理。
    gp.waiting = nil
    gp.activeStackChans = false
    if gp.param == nil {
        // 做一些校验
        if c.closed == 0 {
            throw("chansend: spurious wakeup")
        }
        panic(plainError("send on closed channel"))
    }
    gp.param = nil
    mysg.c = nil
    releaseSudog(mysg)
    return true
}

当我们在 golang 里面执行 c <- x 这么一行代码意图投递一个元素到 channel 的时候，其实就是调用到 chansend 函数。这个函数分几个场景来处理，总结来说：

1. 场景一：如果有人（ goroutine ）等着取 channel 的元素，这种场景最快乐，直接把元素给他就完了，然后把它唤醒，hchan 本身递增下 ringbuffer 索引；
2. 场景二：如果 ringbuffer 还有空间，那么就把元素存着，这种也是场景的流程，存和取走的是异步流程，可以把 channel 理解成消息队列，生产者和消费者解耦；
3. 场景三：ringbuffer 没空间，这个时候就要是否需要 block 了，一般来讲，c <- x 编译出的代码都是 block = true ，那么什么时候 chansend 的 block 参数会是 false 呢？答案是：select 的时候；

关于返回值：chansend 返回值标明元素是否 push 入队成功，成功的话，返回值为 true，否则 false 。

select 的提前揭秘：

select {
case c <- v:
    // ... foo
default:
    // ... bar
}

golang 源代码经过编译会变成类似如下：

if selectnbsend(c, v) {
//  ... foo
} else {
//  ... bar
}

而 selectnbasend 只是一个代理：

func selectnbsend(c *hchan, elem unsafe.Pointer) (selected bool) {
    // 调用的就是 chansend 函数，block 参数为 false；
 return chansend(c, elem, false, getcallerpc())
}

小结：没错，chansend 功能就是这么简单，本质上就是一句话：投递元素到 channel 中。

chanrecv

对应的 golang 语句是：<- c 。该函数实现了 channel 的元素出队功能。举个例子，编译对应一般如下：

golang 语句：

<- c

对应：

func chanrecv1(c *hchan, elem unsafe.Pointer) {
    chanrecv(c, elem, true)
}

golang 语句（这次的区别在于是否有返回值）：

v, ok :=  <- c

对应：

func chanrecv2(c *hchan, elem unsafe.Pointer) (received bool) {
    _, received = chanrecv(c, elem, true)       
    return
}

编译器在遇到 <-c 和 v, ok := <-c 的语句的时候，会换成对应的 chanrecv1 ，chanrecv2 函数，这两个函数本质上都是一个简单的封装，元素出队的实现函数是 chanrecv ，我们详细分析下这个函数。block 都等于 true（同样的，只有 select 的时候，block 才会是 false ）。

func chanrecv(c *hchan, ep unsafe.Pointer, block bool) (selected, received bool) {
 // 特殊场景：非阻塞模式，并且没有元素的场景直接就可以返回了，这个分支是快速分支，下面的代码都是在锁内的；
 if !block && (c.dataqsiz == 0 && c.sendq.first == nil ||
  c.dataqsiz > 0 && atomic.Loaduint(&c.qcount) == 0) &&
  atomic.Load(&c.closed) == 0 {
  return
 }

 // 以下所有的逻辑都在锁内；
 lock(&c.lock)

 if c.closed != 0 && c.qcount == 0 {
  if raceenabled {
   raceacquire(c.raceaddr())
  }
  unlock(&c.lock)
  if ep != nil {
   typedmemclr(c.elemtype, ep)
  }
  return true, false
 }

 // 场景：如果发现有个人（sender）正在等着别人接收，那么刚刚好，直接把它的元素给到我们这里就好了；
 if sg := c.sendq.dequeue(); sg != nil {
  recv(c, sg, ep, func() { unlock(&c.lock) }, 3)
  return true, true
 }

 // 场景：ringbuffer 还有空间存元素，那么下面就可以把元素放到 ringbuffer 放好，递增索引，就可以返回了；
 if c.qcount > 0 {
  // 存元素
  qp := chanbuf(c, c.recvx)
  if ep != nil {
   typedmemmove(c.elemtype, ep, qp)
  }
  typedmemclr(c.elemtype, qp)
  // 递增索引
  c.recvx++
  if c.recvx == c.dataqsiz {
   c.recvx = 0
  }
  c.qcount--
  unlock(&c.lock)
  return true, true
 }

 // 代码到这说明 ringbuffer 空间是不够的，后面学会要做两个事情，是否需要阻塞？
 // 如果 block 为 false ，那么直接就退出了，返回对应的返回值；
 if !block {
  unlock(&c.lock)
  return false, false
 }

 // 到这就说明要阻塞等待了，下面唯一要做的就是给阻塞做准备（准备好唤醒的条件）
 gp := getg()
 mysg := acquireSudog()
 mysg.releasetime = 0
 mysg.elem = ep
 mysg.waitlink = nil
 gp.waiting = mysg
 mysg.g = gp
 mysg.isSelect = false
 mysg.c = c
 gp.param = nil
 // goroutine 作为一个 waiter 入队列，等待条件满足之后，从这个队列里取出来唤醒；
 c.recvq.enqueue(mysg)
 // goroutine 切走，交出 cpu 执行权限
 goparkunlock(&c.lock, waitReasonChanReceive, traceEvGoBlockRecv, 3)

 // 这里是被唤醒的开始的地方；
 if mysg != gp.waiting {
  throw("G waiting list is corrupted")
 }
 // 下面做一些资源的清理
 gp.waiting = nil
 closed := gp.param == nil
 gp.param = nil
 mysg.c = nil
 releaseSudog(mysg)
 return true, !closed
}

chanrecv 函数的返回值有两个值，selected，received，其中 selected 一般作为 select 结合的函数返回值，指明是否要进入 select-case 的代码分支，received 表明是否从队列中成功获取到元素，有几种情况：

1. 如果是非阻塞模式（ block=false ），并且没有任何可用元素，返回 （selected=false，received=false），这样就不会进到 select 的 case 分支；
2. 如果是阻塞模式（ block=true ），如果 chan 已经 closed 了，那么返回的是 （selected=true，received=false），说明需要进到 select 的分支，但是是没有取到元素的；
3. 如果是阻塞模式，chan 还是正常状态，那么返回（selected=true，recived=true），说明正常取到了元素；

selectnbsend

该函数是 c <- v 结合到 select 时候的函数，我们使用 select 的 case 里面如果是一个 chan 的表达式，那么编译器会转换成对应的 selectnbsend 函数，如下：

select {
case c <- v:
 //  ... foo
default:
 //  ... bar
}

对应编译函数逻辑如下：

if selectnbsend(c, v) {
 //  ... foo
} else {
 //  ... bar
}

selectnbsend 本质上也就是个 chansend 的封装：

func selectnbsend(c *hchan, elem unsafe.Pointer) (selected bool) {
        // 注意 block 参数为 false
        return chansend(c, elem, false, getcallerpc())
}

chansend 的内部逻辑上面已经详细说明过，唯一不同的就是 block 参数是赋值成 false ，也就是说，在 ringbuffer 没有空间的是否也不会阻塞，直接返回。划重点：chan 在这里不会切走执行权限。

selectnbrecv

该函数也是 v := <-c 结合到 select 时候的函数，我们使用 select 的 case 里面如果是一个 chan 的表达式，那么编译器会转换成对应的 selectnbsrecv 函数，如下：

select {
case v = <-c:
 //  ... foo
default:
 //  ... bar
}

对应编译函数逻辑如下：

if selectnbrecv(&v, c) {
 //  ... foo
} else {
 //  ... bar
}

selectnbrecv 本质上也就是个 chanrecv 的封装：

func selectnbrecv(elem unsafe.Pointer, c *hchan) (selected bool) {
    // block 参数为 false
    selected, _ = chanrecv(c, elem, false)        
    return
}

chanrecv 的内部逻辑上面已经详细说明过，在 ringbuffer 没有元素也不会阻塞，直接返回。这里不会因此而切走调度权限。

selectnbrecv2

该函数是 v, ok = <-c 结合到 select 时候的函数，我们使用 select 的 case 里面如果是一个 chan 的表达式，那么编译器会转换成对应的 selectnbrecv2 函数，如下：

select {
case v, ok = <-c:
 //  ... foo
default:
 //  ... bar
}

对应编译函数逻辑如下：

if selectnbrecv2(&v,  &ok,  c) {
 //  ... foo
} else {
 //  ... bar
}

selectnbrecv2 本质上是个 chanrecv 的封装，只不过返回值不一样而已：

func selectnbrecv2(elem unsafe.Pointer, received *bool, c *hchan) (selected bool) {
    // block 参数为 false
    selected, *received = chanrecv(c, elem, false)
    return
}

chanrecv 的内部逻辑上面已经详细说明过，在 ringbuffer 没有元素也不会阻塞，直接返回。这里不会因此而切走调度权限。selectnbrecv2 对比 selectnbrecv 函数的不同是还有个 ok 参数指明是否获取到了元素。

chanrecv2

chan 可以和 for-range 结合使用，编译器会识别这种语法使用，如下：

for m := range c {
    // ...   do something
}

这个本质上是个 for 循环，我们知道 for 循环关键是拆建成 3 个部分，初始化，条件判断，条件递进：

for (init , condition, increment) {
    // do something
}

那么在我们 for-range 和 chan 结合起来之后，这 3 个关键因素又是怎么理解呢？简述如下：

init 初始化 ：无

condition 条件判断 ：

ok := chanrecv2(c, ep)
if ok {
}

increment 条件递进 ：无

当编译器遇到上面 chan 结合 for-range 写法 ，会转换成 chanrecv2 的函数调用。意图从 channel 里出队元素， 返回值为 received 。首先看下 chanrecv2 的实现：

func chanrecv2(c *hchan, elem unsafe.Pointer) (received bool) {
    // 注意了，这个 block=true，说明 chanrecv 内部是阻塞的；
    _, received = chanrecv(c, elem, true)        
    return
}

chan 结合 for-range 编译之后的伪代码如下：

for (   ; ok = chanrecv2( c, ep )  ;   ) {
    // do something
}

划重点：从这个实现，我们可以获取一个非常重要的信息，for-range 和 chan 的结束条件只有这个 chan 被 close 了，否则一直会处于这个死循环内部。为什么？注意看 chanrecv 接收的参数是 block=true ，并且这个 for-range 是一个死循环，除非 chanrecv2 返回值为 false ，才有可能跳出循环，而 chanrecv2 在 block=true 场景下返回值为 false 的唯一原因只有：这个 chan 是 close 状态。

总结

golang 的 chan 使用非常简单，这些简单的语法糖背后其实都是对应了相应的函数实现，这个翻译由编译器来完成。深入理解这些函数的实现，这些对于我们彻底理解 chan 的使用和限制条件是少不了的。深入理解原理，知其然知其所以然，你才能从心所欲的使用 golang 。

本文转载自【奇伢云存储 ，作者奇伢】，如有侵犯，请联系我删除