golang内存管理和分配

Go: Memory Management and Allocation

引子

goroutine堆栈上的内存块不用gc。

package-level变量在堆上分配且运行期间永远不会gc。

示例1：

package main

type smallStruct struct {
   a, b int64
   c, d float64
}

func main() {
   smallAllocation()
}

//go:noinline
func smallAllocation() *smallStruct {
   return &smallStruct{}
}

//go:noinline 是用来防止编译器进行inline优化，移除这个函数导致没有内存分配（不太懂原文意思，理论肯定有分配）。然后堆上分配变量分析命令

go tool compile "-m" main.go

输出

main.go:14:9: &smallStruct literal escapes to heap

还可以用

go tool compile -S main.go

显式汇编代码

0x001d 00029 (main.go:14)   LEAQ   type."".smallStruct(SB), AX
0x0024 00036 (main.go:14)  PCDATA $0, $0
0x0024 00036 (main.go:14)  MOVQ   AX, (SP)
0x0028 00040 (main.go:14)  CALL   runtime.newobject(SB)

runtime.newobject是内置的在heap上的内存分配函数，mallocgc的代理。根据分配内存大小有：小内存分配和大内存分配。

小内存分配

32kb以下，go会尝试从叫mcache的本地缓存中获取内存。这个cache管理了一个块大小为32kb的内存块跨度列表（span list）。叫作mspan， 它包含可分配的内存。

每个线程M分配给一个处理器P并一次最多处理一个goroutine。在分配内存时，当前的goroutine将使用其当前P的本地缓存来查找跨度列表span list中可用的第一个空闲对象。使用此本地缓存不需要锁，并使分配效率更高。

跨度列表span list分为〜70个大小类别，从8字节到32k字节，可以存储不同的对象大小：

每个跨度有两个：一个给不包含指针的对象使用，另一个是包含指针的（不过上图没有展示出来 ？）。这种区分使得垃圾回收更容易，因为不包含指针的不必去扫描有没有相关引用（it will not have to scan the spans that do not contain any pointer.）。

回到上面例子中，smallStruct的大小是32 bytes，符合32 bytes的跨度。

现在考虑如果没有空闲位置的情况。go维护每个尺寸级别的跨度的集中列表，叫mcentral，每个跨度有空闲对象列表和非空闲对象列表（是个双向列表）。

分配使用后挪到非空列表，回收后挪到空列表。

我们程序当mcache没有空位后从mcentral那获取一个span。

如果空列表中没有新的跨度，Go需要一种方法来将新的跨度移到中心列表。现在将从堆中分配新的范围，并将其链接到中央列表：

堆在需要时从OS中提取内存。如果需要更多内存，堆将分配一大块大量内存，称为arena，64位系统大小为64Mb，其它大多数是4Mb。arena用span来映射内存页（The arena also maps the memory page with the spans）。

大内存分配

Go不会使用本地缓存来管理大量分配。这些大于32kb的分配将四舍五入为页面大小，并将页面直接分配给堆。

全图

灵感

内存分配器最初基于TCMalloc，TCMalloc是为Google创建的并发环境优化的内存分配器。

The documentation of TCMalloc is worth reading; you will also find the concepts explained previously.