netty内存管理--分配过程

最新推荐文章于 2024-07-18 10:51:04 发布

z13730736890

最新推荐文章于 2024-07-18 10:51:04 发布

阅读量221

点赞数

分类专栏： netty 文章标签： java

本文链接：https://blog.csdn.net/z13730736890/article/details/116164582

版权

netty 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

背景

在网络请求操作中，涉及大量读写，背后是大量的内存申请和回收。这部分工作通过GC来完成，会带来比较大的GC压力，频繁的申请和释放内存对GC不友好，因此Netty开发了一个内存池模块用于内存的分配和回收来降低GC压力。核心思路就是事先申请一大块内存进行分配和回收，来避免JVM的GC操作。透过测试，内存池可以有效的平稳GC抖动。
netty在成功获取unsafe实例之后，进行堆外内存分配，否则进行堆内存分配。
return PlatformDependent.hasUnsafe() ? this.directBuffer(initialCapacity) : this.heapBuffer(initialCapacity);

几个核心分配类

1.Chunk：大块的内存，默认大小16m，完整的一颗平衡二叉树，包含4096个节点，其中叶子节点2048个，每个page（叶子节点）大小为8k。

class PoolChunk<T> {
	private static final int INTEGER_SIZE_MINUS_ONE = 31;
	final PoolArena<T> arena;    
	final T memory;                                        // directByteBuffer
	final boolean unpooled;                                    // false
	private final int pageSize;                                  // 8192 8k
	private final int maxOrder;                                  // 深度11层
	private final int chunkSize;                                  // chunk大小16m
	private int freeBytes;                                     // 空闲字段
	PoolChunkList<T> parent;
	PoolChunk<T> prev;
	PoolChunk<T> next;
	。。。
}

PoolArena：所有内存分配的入口

class PoolArena<T>  {
	private final int maxOrder;                                // 层数11
	final int pageSize;                                        // 叶子节点大小8k
	final int chunkSize;                                       // 堆内存大小16m
	private final PoolSubpage<T>[] tinySubpagePools;           // tiny内存（小于512byte的内存）,长度32
	private final PoolSubpage<T>[] smallSubpagePools;          // small内存块（大于512,小于节点大小）
	private final PoolChunkList<T> q050;                       // 利用率50%的集合，首查！
	private final PoolChunkList<T> q025;                       // 利用率25%的集合
	private final PoolChunkList<T> q000;                       // 利用率0%的集合
	private final PoolChunkList<T> qInit;                      // 初始化的chunk
	private final PoolChunkList<T> q075;                       // 利用率75%的集合
	private final PoolChunkList<T> q100;                       // 利用率100%的集合
。。。
}

PoolSubpage：将叶子节点据需拆分成tiny内存块和small内存块。

内存分配流程

1.尝试从ThreadCache中寻找可用内存，如果找到拿出直接使用，如果未找到，则从arena开始申请内存，后续所有操作加锁，所以netty在一段时间使用后会更快一些（放入ThreadCache后），如果刚开始并发较高，可尝试预热。
2.如果是大块内存，大于16m（大于整个chunk），直接走堆外内存分配，不进行缓存。
3.如果小于chunk（16m），大于叶子节点，则使用二叉树前序遍历进行查询，根据格式化的内存要求算出层数以后遍历到指定深度为止。
4.如果小于叶子节点，则初始化一个叶子节点为PoolSubpage。内含tiny数组，small数组（tiny，small后续再细分）。根据格式化的内存需求找对应内存块。
5.内存使用完毕后，如果初始化和使用是同一个线程，则防御ThreadCache，避开锁竞争。
6.ChunkList包含一系列分使用率的chunk，需要从chunk分配时，先走使用率50%，再找一下，最后再找使用率75%，没有则初始化一个chunk。

如果尝试修改测试性能，下列参数可加入java启动中.
在这里插入图片描述

内存分配

chunk由2048个叶子节点构成，每个父节点的容量是子节点容量相加，每个叶子的大小是一个page。
叶子节点的初始容量为8k，如果进行分配，则剩余容量为0.
父节点的容量是两个叶子节点的较大值，如果叶子节点都未分配，则是两者之和。
通过层级计算得到可分配的二叉树节点，就算出目标层级后，用前序遍历算出可分配的叶子节点。
分配成功后，本节点的容量设置为0。
chunk使用的是平衡二叉树，用一个2048的数组对这棵树进行管理维护，数组存储的是下标节点当前可分配容量，申请成功后，返回当前节点的下表值，当前下表的值再设置为0，分配完成。
如果针对小容量进行分配（小于page的），会将page进行拆分