Go最新go内存分配原理(2)，腾讯+字节+阿里面经真题汇总-CSDN博客

本文链接：https://blog.csdn.net/2401_84904534/article/details/138958286

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

// 51 9472 57344 6 512
// 52 9728 49152 5 512
// 53 10240 40960 4 0
// 54 10880 32768 3 128
// 55 12288 24576 2 0
// 56 13568 40960 3 256
// 57 14336 57344 4 0
// 58 16384 16384 1 0
// 59 18432 73728 4 0
// 60 19072 57344 3 128
// 61 20480 40960 2 0
// 62 21760 65536 3 256
// 63 24576 24576 1 0
// 64 27264 81920 3 128
// 65 28672 57344 2 0
// 66 32768 32768 1 0


上表中每列含义如下：


* class： class ID，每个span结构中都有一个class ID, 表示该span可处理的对象类型
* bytes/obj：该class代表对象的字节数
* bytes/span：每个span占用堆的字节数，也即页数\*页大小
* objects: 每个span可分配的对象个数，也即（bytes/spans）/（bytes/obj）
* waste bytes: 每个span产生的内存碎片，也即（bytes/spans）%（bytes/obj）  
 上表可见最大的对象是32K大小，超过32K大小的由特殊的class表示，该class ID为0，每个class只包含一个对象。


#### 2.span数据结构


span是内存管理的基本单位，每个span用于管理特定的class对象，根据对象大小，span将一个或多个页拆分成多个块进行管理。



> 
> src/runtime/mheap.go:mspan定义了其数据结构
> 
> 
>

type mspan struct {
next *mspan //链表前向指针，用于将span链接起来
prev *mspan //链表前向指针，用于将span链接起来
startAddr uintptr // 起始地址，也即所管理页的地址
npages uintptr // 管理的页数

nelems uintptr // 块个数，也即有多少个块可供分配

allocBits  \*gcBits //分配位图，每一位代表一个块是否已分配

allocCount  uint16     // 已分配块的个数
spanclass   spanClass  // class表中的class ID

elemsize    uintptr    // class表中的对象大小，也即块大小

}


以class10为例，span和管理的内存如下图所示：


![在这里插入图片描述](https://img-blog.csdnimg.cn/49667c637d0b47fea6ad3fe8b822444e.png#pic_center)  
 spanclass为10，参照class表可得出npages=1,nelems=56,elemsize为144。其中startAddr是在span初始化时就指定了某个页的地址。allocBits指向一个位图，每位代表一个块是否被分配，本例中有两个块已经被分配，其allocCount也为2。


next和prev用于将多个span链接起来，这有利于管理多个span，接下来会进行说明。


2.2 cache


有了管理内存的基本单位span，还要有个数据结构来管理span，这个数据结构叫mcentral，各线程需要内存时从mcentral管理的span中申请内存，为了避免多线程申请内存时不断地加锁，Golang为每个线程分配了span的缓存，这个缓存即是cache。



> 
> src/runtime/mcache.go:mcache定义了cache的数据结构
> 
> 
>

type mcache struct {
alloc [67*2]*mspan // 按class分组的mspan列表
}


alloc为mspan的指针数组，数组大小为class总数的2倍。数组中每个元素代表了一种class类型的span列表，每种class类型都有两组span列表，第一组列表中所表示的对象中包含了指针，第二组列表中所表示的对象不含有指针，这么做是为了提高GC扫描性能，对于不包含指针的span列表，没必要去扫描。


根据对象是否包含指针，将对象分为noscan和scan两类，其中noscan代表没有指针，而scan则代表有指针，需要GC进行扫描。


mcache和span的对应关系如下图所示：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/53ca8bd8e01a45f28596c94bf2dea978.png#pic_center)  
 mcache在初始化时是没有任何span的，在使用过程中会动态地从central中获取并缓存下来，根据使用情况，每种class的span个数也不相同。上图所示，class 0的span数比class1的要多，说明本线程中分配的小对象要多一些。


### 2.central


cache作为线程的私有资源为单个线程服务，而central则是全局资源，为多个线程服务，当某个线程内存不足时会向central申请，当某个线程释放内存时又会回收进central。



> 
> src/runtime/mcentral.go:mcentral定义了central数据结构：
> 
> 
>

type mcentral struct {
lock mutex //互斥锁
spanclass spanClass // span class ID
nonempty mSpanList // non-empty 指还有空闲块的span列表
empty mSpanList // 指没有空闲块的span列表

nmalloc uint64      // 已累计分配的对象个数

}


* lock: 线程间互斥锁，防止多线程读写冲突
* spanclass : 每个mcentral管理着一组有相同class的span列表
* nonempty: 指还有内存可用的span列表
* empty: 指没有内存可用的span列表
* nmalloc: 指累计分配的对象个数


线程从central获取span步骤如下：  
 1.加锁  
 2.从nonempty列表获取一个可用span，并将其从链表中删除  
 3.将取出的span放入empty链表  
 4.将span返回给线程  
 5.解锁  
 6.线程将该span缓存进cache


线程将span归还步骤如下：  
 1.加锁  
 2.将span从empty列表删除  
 3.将span加入noneempty列表  
 4.解锁  
 上述线程从central中获取span和归还span只是简单流程，为简单起见，并未对具体细节展开。


### 3.heap


从mcentral数据结构可见，每个mcentral对象只管理特定的class规格的span。事实上每种class都会对应一个mcentral,这个mcentral的集合存放于mheap数据结构中。



> 
> src/runtime/mheap.go:mheap定义了heap的数据结构
> 
> 
>

type mheap struct {
lock mutex

spans []\*mspan

bitmap        uintptr     //指向bitmap首地址，bitmap是从高地址向低地址增长的

arena_start uintptr        //指示arena区首地址
arena_used  uintptr        //指示arena区已使用地址位置

central [67\*2]struct {
    mcentral mcentral
    pad      [sys.CacheLineSize - unsafe.Sizeof(mcentral{})%sys.CacheLineSize]byte
}

}


* lock： 互斥锁
* spans: 指向spans区域，用于映射span和page的关系
* bitmap：bitmap的起始地址
* arena\_start: arena区域首地址
* arena\_used: 当前arena已使用区域的最大地址
* central: 每种class对应的两个mcentral


从数据结构可见，mheap管理着全部的内存，事实上Golang就是通过一个mheap类型的全局变量进行内存管理的。



> 
> mheap内存管理示意图如下：  
>  ![在这里插入图片描述](https://img-blog.csdnimg.cn/a6b0f14f391d4cba869155e3541e52cf.png#pic_center)  
>  系统预分配的内存分为spans、bitmap、arean三个区域，通过mheap管理起来。接下来看内存分配过程。
> 
> 
> 


## 二、内存分配过程


针对待分配对象的大小不同有不同的分配逻辑：


* (0, 16B) 且不包含指针的对象： Tiny分配
* (0, 16B) 包含指针的对象：正常分配
* [16B, 32KB] : 正常分配
* (32KB, -) : 大对象分配 其中Tiny分配和大对象分配都属于内存管理的优化范畴，这里暂时仅关注一般的分配方法。


以申请size为n的内存为例，分配步骤如下：  
 1.获取当前线程的私有缓存mcache  
 2.根据size计算出适合的class的ID  
 3.从mcache的alloc[class]链表中查询可用的span  
 4.如果mcache没有可用的span则从mcentral申请一个新的span加入mcache中  
 5.如果mcentral中也没有可用的span则从mheap中申请一个新的span加入mcentral  


![img](https://img-blog.csdnimg.cn/img_convert/5be29320cb7b6dd48fe09cdd7546a70e.png)
![img](https://img-blog.csdnimg.cn/img_convert/1561f43d9516fd9ce0bf899e2d369482.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以添加戳这里获取](https://bbs.csdn.net/topics/618658159)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

7981977)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以添加戳这里获取](https://bbs.csdn.net/topics/618658159)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**