jemalloc 深入分析 之 bitmap的两种实现

最新推荐文章于 2024-07-05 06:00:00 发布
最新推荐文章于 2024-07-05 06:00:00 发布
阅读量727 收藏 1
点赞数
文章标签： jemalloc bitmap
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ip5108/article/details/86750874
版权

为了更好的阅读效果，推荐下载pdf文档：
详细文章请参考：《jemalloc 深入分析》
https://github.com/everschen/tools/blob/master/DOC/Jemalloc.pdf
https://download.csdn.net/download/ip5108/10941278

2.2. bitmap的两种实现

2.2.1. 什么时候使用bitmap TREE
/*

  • Do some analysis on how big the bitmap is before we use a tree. For a brute
  • force linear search, if we would have to call ffs_lu() more than 2^3 times,
  • use a tree instead.
    */
    #if LG_BITMAP_MAXBITS - LG_BITMAP_GROUP_NBITS > 3

define USE_TREE

#endif
LG_BITMAP_MAXBITS= LG_RUN_MAXREGS= (LG_PAGE - LG_TINY_MIN)=12-3=9
LG_BITMAP_GROUP_NBITS= (LG_SIZEOF_BITMAP + 3)= LG_SIZEOF_LONG+3
=6（64bit）或者5（32bit）。
Jemalloc 深入分析
Copyright 2013 Spreadtrum Communications Inc. 10
/* sizeof(long) == 2^LG_SIZEOF_LONG. /
#ifdef LP64
#define LG_SIZEOF_LONG 3
#else
#define LG_SIZEOF_LONG 2
#endif
LG_BITMAP_MAXBITS - LG_BITMAP_GROUP_NBITS=9-6/5，所以在64bit的时候不定义USE_TREE，在32bit的时候定义了USE_TREE。
64bit的时候，ffs_lu调用23=8次，超过8次就用TREE。32bit的时候ffs_lu调用24=16次，所以使用了TREE，看看效果如何？
/ Number of groups required to store a given number of bits. /
#define BITMAP_BITS2GROUPS(nbits)
((nbits + BITMAP_GROUP_NBITS_MASK=31) >> LG_BITMAP_GROUP_NBITS=5)
#elif LG_BITMAP_MAXBITS <= LG_BITMAP_GROUP_NBITS * 2
#define BITMAP_GROUPS_MAX BITMAP_GROUPS_2_LEVEL(BITMAP_MAXBITS)
LG_BITMAP_MAXBITS=9 <= LG_BITMAP_GROUP_NBITS * 2=55=10
BITMAP_MAXBITS=2^9
BITMAP_GROUPS_2_LEVEL(BITMAP_MAXBITS)=
#define BITMAP_GROUPS_L0(nbits)
BITMAP_BITS2GROUPS(nbits)
#define BITMAP_GROUPS_L1(nbits)
BITMAP_BITS2GROUPS(BITMAP_BITS2GROUPS(nbits))
#define BITMAP_GROUPS_1_LEVEL(nbits)
BITMAP_GROUPS_L0(nbits)
#define BITMAP_GROUPS_2_LEVEL(nbits) \ (BITMAP_GROUPS_1_LEVEL(nbits) + BITMAP_GROUPS_L1(nbits))
BITMAP_GROUPS_1_LEVEL(512)=BITMAP_GROUPS_L0(512)= BITMAP_BITS2GROUPS(512)=(512+31)>>5=16 BITMAP_GROUPS_L1(512)= BITMAP_BITS2GROUPS(16)=1
BITMAP_GROUPS_2_LEVEL(512)=16+1=17
Jemalloc 深入分析
Copyright 2013 Spreadtrum Communications Inc. 11
BITMAP_GROUPS_MAX=17

2.2.2. bitmap TREE设计
USE_TREE时，level[0]还是放置所有的groups，然后每往上一层，该层的每一位对应下层的一个bitmap。如此往上，直到最高层只有一个bitmap为止。
在这里插入图片描述
512/32=16，所以这里共需要16个bitmap，每一个bitmap是32位的字节。

2.2.3. bitmap_sfu的处理过程
bitmap_sfu(bitmap_t *bitmap, const bitmap_info_t binfo)
{
size_t bit;
bitmap_t g;
unsigned i;
assert(!bitmap_full(bitmap, binfo));
#ifdef USE_TREE i = binfo->nlevels - 1;//得到顶层level g = bitmap[binfo->levels[i].group_offset];//得到顶层bitmap值
bit = ffs_lu(g) - 1;
Jemalloc 深入分析
Copyright 2013 Spreadtrum Communications Inc. 12
while (i > 0) {
i–; g = bitmap[binfo->levels[i].group_offset + bit];//得到下一层bit位对应的bitmap值 bit = (bit << LG_BITMAP_GROUP_NBITS) + (ffs_lu(g) - 1);//得到下一层的bit所在的值，bit << LG_BITMAP_GROUP_NBITS表示上一层的每一个单位值需要乘以32，表示下层的一个字节跨度。
}
#else
i = 0;
g = bitmap[0]; while ((bit = ffs_lu(g)) == 0) {
i++;
g = bitmap[i];
}
bit = (i << LG_BITMAP_GROUP_NBITS) + (bit - 1);
#endif
bitmap_set(bitmap, binfo, bit);
return (bit);
}
— Built-in Function: int __builtin_ffsl (unsigned long)
Returns one plus the index of the least significant 1-bit of x, or if x is zero, returns zero.
返回右起第一个‘1’的位置。
如果是TREE方式，需要从root group开始往下查找，相比非TREE的方式也会更快。按16个bitmaps为例，只需要调用ffs_lu() 2次。而非TREE方式，平均会在4次。
LG_BITMAP_GROUP_NBITS=6，i<<6=i64，一个bitmap是标识64个regions。

2.2.4. bitmap初始化过程
void
bitmap_init(bitmap_t *bitmap, const bitmap_info_t *binfo)
{
size_t extra;
Jemalloc 深入分析
Copyright 2013 Spreadtrum Communications Inc. 13
memset(bitmap, 0xffU, bitmap_size(binfo));
extra=(BITMAP_GROUP_NBITS-(binfo->nbits&BITMAP_GROUP_NBITS_MASK))
& BITMAP_GROUP_NBITS_MASK;
if (extra != 0)
bitmap[binfo->ngroups - 1] >>= extra;
}
extra是多余的标志位，对于64位系统，extra的计算过程如下：
extra=(64-(binfo->nbits&63))& 63;
所以当nbits（extra是2的次幂形式）大于等于64的，extra=0，当nbits小于64时，extra=64-nbits。然后把最后一个bitmap的高extra位置0，即右移extra位。
对于使用TREE时的bitmap_init，除了level0的extra置0，还需要往上把其他的查找bitmap的extra位置0。
bitmap_init(bitmap_t *bitmap, const bitmap_info_t binfo)
{
size_t extra;
unsigned i;
/

  • Bits are actually inverted with regard to the external bitmap
  • interface, so the bitmap starts out with all 1 bits, except for
  • trailing unused bits (if any). Note that each group uses bit 0 to
  • correspond to the first logical bit in the group, so extra bits
  • are the most significant bits of the last group.
    */
    memset(bitmap, 0xffU, bitmap_size(binfo));
    extra = (BITMAP_GROUP_NBITS - (binfo->nbits & BITMAP_GROUP_NBITS_MASK))
    & BITMAP_GROUP_NBITS_MASK;
    if (extra != 0)
    bitmap[binfo->levels[1].group_offset - 1] >>= extra;
    for (i = 1; i < binfo->nlevels; i++) {
    size_t group_count = binfo->levels[i].group_offset -
    binfo->levels[i-1].group_offset;
    Jemalloc 深入分析
    Copyright 2013 Spreadtrum Communications Inc. 14
    extra = (BITMAP_GROUP_NBITS - (group_count &
    BITMAP_GROUP_NBITS_MASK)) & BITMAP_GROUP_NBITS_MASK;
    if (extra != 0)
    bitmap[binfo->levels[i+1].group_offset - 1] >>= extra;
    }
    }

2.2.5. bitmap_info初始化过程
1）对于非TREE的模式，只需要计算ngroups，这里是64bit的系统。
binfo->ngroups = BITMAP_BITS2GROUPS(nbits);
/* Number of groups required to store a given number of bits. */
#define BITMAP_BITS2GROUPS(nbits)
((nbits + BITMAP_GROUP_NBITS_MASK) >> LG_BITMAP_GROUP_NBITS)
也就是：binfo->ngroups =(nbits+63)/64
2）对于TREE的模式，这里是32bit的系统。
首先置level0的group 偏移从第0个开始，binfo->levels[0].group_offset = 0;
然后下一个level的group偏移，是上一个level的偏移+group数量。
binfo->levels[i].group_offset = binfo->levels[i-1].group_offset+ group_count;
然后再把这一级的group数量作为nbits来计算下一级的group数量，
group_count = BITMAP_BITS2GROUPS(group_count);
这样计算，直到group_count为1为止。
为1后，把最后一个偏移保存在最高一级level中，实际这一级不作为查询的bitmap，只是作为group数量的返回值，因为group计算从0开始，这里group_count=1，加上去后刚好是group的个数。这个i会保存为binfo->nlevels，后续所有的处理都是i < binfo->nlevels也说明这层实际不存bitmap。
binfo->levels[i].group_offset = binfo->levels[i-1].group_offset+ group_count;

2.2.6. bitmap_full检测
对于TREE，只需要检查root group是否为0，也就是最后一个bitmap。
对于非TREE，需要逐个检查，最坏的情况下是检查8个bitmaps。
Jemalloc 深入分析
Copyright 2013 Spreadtrum Communications Inc. 15

2.2.7. bitmap_set
对于非TREE，直接把对应bitmap的对应位置0。
对于TREE，首先也需要把对应bitmap的对应位置0，然后如果这个bitmap值为0后，需要把level1的对应的bitmap位置0，如果这个时候这个bitmap值也为0，则需要继续往上对查找bitmap置0的动作，直到i == binfo->nlevels或者当前的bitmap不为0为止。

2.2.8. bitmap_sfu
对于非TREE，直接通过循环查找bitmap不为0的bit。
对于TREE，需要从上往下通过查找bitmap来找，对于32bit系统，理论上是32分查找，而且最大查找次数为BITMAP_MAX_LEVELS=5，实际一般2次就完成，远远小于非TREE的最大8次ffs_lu操作。

详细文章请参考：《jemalloc 深入分析》
https://github.com/everschen/tools/blob/master/DOC/Jemalloc.pdf
https://download.csdn.net/download/ip5108/10941278

EversChen5
关注
高性能内存分配器 jemalloc 基本原理
悟已往之不谏，知来者之可追
11-30 1631
文章目录背景知识常用内存分配器算法动态内存分配伙伴算法Slab 算法jemalloc 架构设计 在上一篇文章中，我们介绍了强大的 ByteBuf 工具类，ByteBuf 在 Netty 中随处可见，那么这些 ByteBuf 在 Netty 中是如何被分配和管理的呢？接下来的我们会对 Netty 高性能内存管理进行剖析，这些知识相比前面的章节有些晦涩难懂，你不必过于担心，Netty 内存管理的实现并不是一蹴而就的，它也是参考了 jemalloc 内存分配器。今天我们就先介绍 jemalloc 内存分配器的基本
Hive 实战：位图 Bitmap 系列-group_bitmap UDAF 实现解析
SmartSi
06-10 1608
在 ClickHouse 中，groupBitmap 函数用于从整数列聚合生成位图，常用于高效地进行复杂的位运算。而在 Hive 中没有内置的等效函数，我们可以通过创建一个用户自定义聚合函数（UDAF）来实现 groupBitmap。这里将详细介绍如何在 Hive 中实现一个类似 groupBitmap 的自定义函数，包括 UDAF 的定义、编译、注册以及使用步骤。
jemalloc深入分析
01-28
1. bitmap查找算法的优化-32路查找 2. paring heap，配对堆的使用，提高排序效率 3. RB tree 红黑树 4. Tcache机制 5. 支持原子操作的线性同余伪随机数生成器 6. 动态头长度的计算过程map_bias 7. Region size设计以及和index对应关系 8. radix tree基数树 9. 高可靠性编程讨论 10. small/large/huge内存的分配和释放过程
jemalloc 深入分析 之red-black tree 红黑树
ip5108的博客
02-02 406
2.4. red-black tree 红黑树 cpp macro implementation of left-leaning 2-3 red-black trees. Parent pointers are not used, and color bits are stored in the least significant bit of right-child pointers (if ...
九浅一深Jemalloc5.3.0 -- ①深*一撸到底boot＞malloc＞gc
最新发布
老宅的虚拟空间
07-05 1825
图表+GDB+源码~来学习Jemalloc5.3.0喽！ 简单直接多图多例子的系列文章《九浅一深Jemalloc5.3.0》助您慢慢high到gc。
jemalloc横向分析（四） tcache分配内存中使用到的位图bitmap
deusomax的专栏
08-02 744
/*  * Read-only information associated with each element of arena_t's bins array  * is stored separately, partly to reduce memory usage (only one copy, rather  * than one per arena), but mainly to
自顶向下深入分析Netty（十）--JEMalloc分配算法
wqy1200的专栏
03-26 274
1. JEMalloc分配算法 Netty的PooledByteBuf采用与jemalloc一致的内存分配算法。可用这样的情景类比，想像一下当前电商的配送流程。当顾客采购小件商品（比如书籍）时，直接从同城仓库送出；当顾客采购大件商品（比如电视）时，从区域仓库送出；当顾客采购超大件商品（比如汽车）时，则从全国仓库送出。Netty的分配算法与此相似，可参见下图： jemalloc内存分配示意图...
mysql bitmap实现_【Bitmap算法浅谈篇】Mysql应用Bitmap
weixin_30895059的博客
01-26 1207
首先Bitmap算法并不是一种数学公式，而是一种方法!下面通过一个列子来使你明白何为Bitmap算法！以下数据库以mysql为列！给出一个表结构，每一行都表示一条记录！1、要想统计所有70后的演员怎么做？Select count(distinct Name) as 用户数 from table where Age=’70后’ and Job=’演员’;2、要想统计所有Apple手机使用者或者80后...
【ClickHouse实战】如何基于 ClickHouse Bitmap实现用户画像圈选？
程序员光剑
05-16 1万+
基于 ClickHouse Bitmap 实现用户画像圈选，需要借助于 Roaring Bitmaps 进行处理。Roaring Bitmap 是一种用于存储和操作大量有序整数集合的压缩位图技术，具有高效的性能和较小的存储空间占用。ClickHouse 支持 Roaring Bitmap，通过类型存储和操作。
Bitmap C语言实现
geditzh的博客
05-17 3267
什么是 BigMap 算法   所谓 BitMap 就是用一个 bit 位来标记某个元素对应的 value，而 key 即是这个元素。由于采用bit为单位来存储数据，因此在可以大大的节省存储空间。 算法思想   32位机器上，一个整形，比如 int a; 在内存中占32bit，可以用对应的32个bit位来表示十进制的0-31个数，bitmap算法利用这种思想处理大量数据的排序与查询。 优点： 效率高，不许进行比较和移位 占用内存少，比如N=10000000;只需占用内存为N/8 = 1250000Bytes
centos下使用jemalloc解决Mysql内存泄漏问题
eagle89的专栏
08-18 2307
jemalloc解决Mysql内存泄漏问题
Netty源码之jemalloc4内存分配(4.1.58)
ClarenceZero的博客
02-03 1852
Netty源码之jemalloc4内存分配(4.1.58) 概述 在讲 jemalloc4 算法之前，我们先回顾 jemalloc3 内存分配算法: Netty 使用一棵满二叉树管理不同规格的内存块，可将用户申请的内存大小划分四个级别，分别是 Tiny、Small、Normal 和 Huge，根据不同规格采取不同的分配策略。重新回顾 jemalloc3 内存规格图: 在分配内存之前，需要对用户申请的大小进行规格化处理并得到规格值。对于 Normal 级别，它是 PageSize（默认值: 8192By
linux-kernel-bitmap
weixin_30856725的博客
10-17 328
bitmap 节约内存,用一个位去表示两种状态.对于数据量比较多的开关量非常适用。 linux提供了相关的接口进行初始化和操作bitmap. include/linux/types.h #define DECLARE_BITMAP(name,bits) \ unsigned long name[BITS_TO_LONGS(bits)] bitmap_set 函数原型: void bitma...
jemalloc安装和使用
热门推荐
zhugl的博客
04-13 2万+
前言   jemalloc是一个内存分配器，最开始出现在FreeBSD上的libc中，FreeBSD最早使用phkmalloc，但它不是在多处理器系统且支持多线程的情况下设计的，为了解决多处理器系统和多线程应用程序的可扩展性瓶颈，由此诞生jemalloc，它是Jason Evans 2005年进行开发的，因此叫"je"。在2007年的时候为了改善Firefox在3.0版中的内存使用情况，使用jem...
netty 源码解读四 内存分配相关（2）- jemalloc 内存分配算法
firebolt100的博客
05-17 1471
123
内存泄漏调试 ---- jemalloc的heap profiling
weixin_43763259的博客
05-16 2322
使用jemalloc时，可以通过profiling机制来发现并定位内存泄漏(memory leak)。本文翻译自原文并增加了一些例子。
【JAVA 网络编程系列】Netty -- 内存管理(池化内存)
CopperSun 技术博客
10-02 1348
【JAVA 网络编程系列】Netty -- 内存管理(池化内存) 【1】jemalloc 简介 【1.1】内存池简介 内存池是指应用程序向操作系统(或 JVM)申请一块内存，对象的创建和销毁都从这块内存中分配和回收，对应地，管理这块内存的工具就称作内存分配器；对于申请对象的不同可以分为堆内存池(向 JVM 申请的内存)和直接内存池(向操作系统申请的内存)； 业界著名的三种内存分配器 ptmalloc，Doug Lea 编写的分配器，支持每个线程(per-thread，简称 pt)的 arena，gl
__builtin_ffs 的使用方法
坚韧与专注
04-11 3650
__builtin_ffs 的使用方法，可以巧妙的计算最高优先级（查找最小值）
__builtin_ 位运算
梅花瓣的博客
03-23 308
Built-in Function: int __builtin_ffs (unsigned int x) ffs - find first bit set Returns one plus the index of the least significant 1-bit of x, or if x is zero, returns zero. x的最后一位1是从后向前第几位，位置从1计数，找不到返回0； — Built-in Function: int __builtin_clz (unsigned i
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值