二进制安全：ptmalloc内存管理机制与堆块chunk源码分析

已于 2022-02-06 20:15:17 修改
阅读量2.6k 收藏 2
点赞数 1
分类专栏： 二进制安全 文章标签： 网络安全 C语言 信息安全 C++ 内核
于 2022-01-09 14:27:49 首次发布
文章版权归知柯®️所有，非商业使用，转载请声明！
本文链接：https://blog.csdn.net/qq_43332010/article/details/122266494
版权

在这里插入图片描述
敬告：
《中华人民共和国刑法》第三百八十六条【破坏计算机系统罪；网络服务渎职罪】违反国家规定，对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机系统不能正常运行，后果严重的，处五年以下有期徒刑或者拘役；后果特别严重的，处五年以上有期徒刑。
违反国家规定，对计算机系统中存储、处理或者传输的数据和应用程序进行删除、修改、增加的操作，后果严重的，依照前款规定处罚。
故意制作、传播计算机病毒等破坏性程序，影响计算机系统正常运行，后严重的，依照第一款规定处罚。
单位犯前三款罪的，对单位判处罚金，对其直接负责的主管人员和其他直接负责人员，依照第一款的规定处罚。

声明：本文仅供开发者与信息安全从业者学习参考，请遵守行业道德底线。

作者：深圳市狩猎者网络安全技术有限公司-知柯信息安全团队-王驭停
本文参考：glibc内存管理ptmalloc源代码分析 华庭（庄明强）2011/4/17
本文源代码使用glibc-2.15 source code 下载地址直达glibc-2.15
参考阅读：Heap overflow堆溢出（一）

这是一篇结合了malloc.c源代码分析的文章，也许部分读者朋友会认为这篇文章在炒冷饭，本文是我学习heap的笔记，本文包括了堆溢出的基本概念。

更新日期：
2022年1月29日
2022年1月26日

文章目录

Ptmalloc内存管理概述：

简介：

ptmalloc 实现了 malloc()，free()以及一组其它的函数. 以提供动态内存管理的支持。分配器处在用户程序和内核之间，它响应用户的分配请求，向操作系统申请内存，然后将其返回给用户程序，为了保持高效的分配，分配器一般都会预先分配一块大于用户请求的内存， 并通过某种算法管理这块内存。

堆是一个结构，可以对不同的内存进行管理，下面是Linux系统中的堆，堆的增长是从小到大。

+--- Heap grows to bigger positions
 |
 | +-+-+-+-+-+-+ 0x00000000
 V |   CODE    |
   +-----------+
   |   HEAP    |
   |           |
   +-----------+
   |           | A
   |           | |
   +-----------+ +---- Stack grows to lower positions
   |   STACK   |
   +-----------+ 0xFFFFFFFF

Malloc Chunk 堆块分析

想必我们都看过这张图片：malloc chunk
在这里插入图片描述
/malloc/malloc.c中1072行代码注释有上图的源码
malloc.c关于chunk声明的C源码

struct malloc_chunk {

  INTERNAL_SIZE_T      mchunk_prev_size;  /* Size of previous chunk (if free).  */
  INTERNAL_SIZE_T      mchunk_size;       /* Size in bytes, including overhead. */

  struct malloc_chunk* fd;         /* double links -- used only if free. */
  struct malloc_chunk* bk;

  /* Only used for large blocks: pointer to next larger size.  */
  struct malloc_chunk* fd_nextsize; /* double links -- used only if free. */
  struct malloc_chunk* bk_nextsize;
};

以上程序中在定义了mchunk_prev_size域，mchunk_size域，fd,bk
fd_nextsize,bk_nextsize
各个域的作用
指针FD与BK只有当CHUNK块空闲时存在，如下图所示，FD指针指向下一个CHUNK头部Prev_size,BK指向上一个CHUNK的Prev_size
在这里插入图片描述

FreeChunk过程

实现FreeChunk是通过双链表完成的如下图所示

CHUNK在FREE之前的结构

在这里插入图片描述

    chunk-> +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
	    |             Size of previous chunk, if unallocated (P clear)  |
	    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
	    |             Size of chunk, in bytes                     |A|M|P|
      mem-> +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
	    |             User data starts here...                          .
	    .                                                               .
	    .             (malloc_usable_size() bytes)                      .
	    .                                                               |
nextchunk-> +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
	    |             (size of chunk, but used for application data)    |
	    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
	    |             Size of next chunk, in bytes                |A|0|1|
	    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

CHUNK在FREE之后的结构：

在这里插入图片描述

chunk-> +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
	    |             Size of previous chunk, if unallocated (P clear)  |
	    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    `head:' |             Size of chunk, in bytes                     |A|0|P|
      mem-> +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
	    |             Forward pointer to next chunk in list             |
	    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
	    |             Back pointer to previous chunk in list            |
	    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
	    |             Unused space (may be 0 bytes long)                .
	    .                                                               .
	    .                                                               |
nextchunk-> +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    `foot:' |             Size of chunk, in bytes                           |
	    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
	    |             Size of next chunk, in bytes                |A|0|0|
	    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

关于Arena

在 ptmalloc2 的实现中，Arena 是程序存储每线程堆 per-thread heaps的地方。 理想情况下，人们会认为每个线程都应该有自己的 Arena，每一个Arena需要几个堆，例如具有大量多线程的 Apache Web Server就无法使用它。
在这里插入图片描述

static struct malloc_par mp_ =
{
  .top_pad = DEFAULT_TOP_PAD,
  .n_mmaps_max = DEFAULT_MMAP_MAX,
  .mmap_threshold = DEFAULT_MMAP_THRESHOLD,
  .trim_threshold = DEFAULT_TRIM_THRESHOLD,
#define NARENAS_FROM_NCORES(n) ((n) * (sizeof (long) == 4 ? 2 : 8))
  .arena_test = NARENAS_FROM_NCORES (1)
};

malloc/malloc.c:1750

#define NARENAS_FROM_NCORES(n) ((n) * (sizeof (long) == 4 ? 2 : 8))

malloc/arena.c:906

int n = __get_nprocs ();

 if (n >= 1)
 narenas_limit = NARENAS_FROM_NCORES (n);
 else
 /* We have no information about the system. Assume two
 cores. */
 narenas_limit = NARENAS_FROM_NCORES (2);

关于Top：

在malloc
当我们在分配Heap的时候，TOP始终位于顶部。TOP的大小取决于Arena的空间大小。当我们首次调用Heap的时候，TOP为0。TOP会存在Heap的分配内存中，如下是它的分配结构代码：

+---HEAP GROWS UPWARDS
 |
 | +-+-+-+-+-+-+
 | |  MALLOC 1 |
 | +-----------+
 | |  MALLOC 2 |
 | +-----------+
 | |  MALLOC 3 |
 | +-----------+
 | |    TOP    |
 | |           |
 V |           |
   +-----------+
--- WILDERNESS ---

关于Bins：

Bins结构：

 +---HEAP GROWS UPWARDS
 |                            Bins
 | +-+-+-+-+-+-+             +------------------------+
 | |  CHUNK  1 |             |                        | 
 | +-----------+             +------------------------+
 | |  CHUNK  2 |            
 | +-----------+         
 | |  CHUNK  3 |
 | +-----------+
 | |  CHUNK  4 | 
 | +-----------+
 | |  CHUNK  5 |
 | +-----------+
 | |  CHUNK  6 |
 | +-----------+
 | |    TOP    |
 | |           |
 V |           |
   +-----------+
--- WILDERNESS ---

Bins是内存中的双链表结构，bins用于跟踪被FREE的CHUNK。当一个CHUNK被释放后，它会被放入Bins数组中。
这里有128个Bins，一个unsorted chunks bin与剩下的127个Bins。
这127个Bins由21个small chunk和96个Bins组成

1(Unsorted) + 96(Small chunks) + 31(Large chunks) = 128(Bins).

Small Chunk与Chunk的区别

这里我们又会有疑问smallchunk和 普通chunk的区别是什么？
在这里把Chunk分为Small Chunk与Large Chunk
它们最大的不同在于当chunk被释放（free）时bins回收大小不一样。
Small Chunk会把相同大小的Free chunk储存在bins中。
在以下案例中，我们分配6个相同大小的CHUNK

+---HEAP GROWS UPWARDS
 |                            Bins
 | +-+-+-+-+-+-+             +------------------------+
 | |  CHUNK  1 |             |                        | 
 | +-----------+             +------------------------+
 | |  CHUNK  2 |            
 | +-----------+         
 | |  CHUNK  3 |
 | +-----------+
 | |  CHUNK  4 | 
 | +-----------+
 | |  CHUNK  5 |
 | +-----------+
 | |  CHUNK  6 |
 | +-----------+
 | |    TOP    |
 | |           |
 V |           |
   +-----------+
--- WILDERNESS ---

我们释放CHUNK4，接着释放CHUNK2

+---HEAP GROWS UPWARDS
 |                            Bins
 | +-+-+-+-+-+-+             +------------------------+
 | |  CHUNK  1 |             | ADDRESS OF FREESPACE 4 | (1)free
 | +-----------+             +------------------------+
 | |FREESPACE 2 | (2)free     | ADDRESS OF FREESPACE 2 | (2)free
 | +-----------+             +------------------------+
 | |  CHUNK  3 |
 | +-----------+
 | |FREESPACE 4 | (1)free
 | +-----------+
 | |  CHUNK  5 |
 | +-----------+
 | |  CHUNK  6 |
 | +-----------+
 | |    TOP    |
 | |           |
 V |           |
   +-----------+
--- WILDERNESS ---

FREECHUNK4和FREECHUNK2被合成FREECHUNK2

 +---HEAP GROWS UPWARDS
 |                            Bins
 | +-+-+-+-+-+-+             +------------------------+
 | |  CHUNK  1 |             | ADDRESS OF FREECHUNK 2 | 
 | +-----------+             +------------------------+
 | |FREECHUNK 2|
 | |           |  
 | |           |
 | |           |
 | |           | 
 | +-----------+
 | |  CHUNK  5 |
 | +-----------+
 | |  CHUNK  6 |
 | +-----------+
 | |    TOP    |
 | |           |
 V |           |
   +-----------+
--- WILDERNESS ---

当一个Chunk被释放后，in-use位被设置为0，程序会检查上一个或者下一个是否存在空闲空间，Bins会把空余空间合并。

Fastbins

Fastbins在源码中最大大小是这么定义的

#define MAX_FAST_SIZE (80 * SIZE_SZ / 4)

SIZE_SZ 在64位系统上是8bit，在32位系统上是4bit.MAX_FAST_SIZE在32位和64位系统上分别大小是160bytes和80bytes
这就意味着小于MAX_FAST_SIZE的FREE CHUNK会被回收到Fastbins数组中
目前遇到一个棘手的问题，fastbin是一个释放小chunk的列表数组Fastbins] is an array of lists holding recently freed small chunks。单链接存储在“LIFO”中。

—分割线：2022年1月29日，更新2022年1月26日,更新2022年2月6日—

IT鹅
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ptmalloc算法chunk简介
weixin_43722423的博客
06-28 356
本文主要介绍内存管理算法ptmalloc的内存管理单位–chunk的基本知识。
ptmalloc（一）：chunk 内存块的基本组织单元
u010687240的专栏
03-18 2430
1. chunk 内存块的基本组织单元struct malloc_chunk { INTERNAL_SIZE_T mchunk_prev_size; /* Size of previous chunk (if free). */ INTERNAL_SIZE_T mchunk_size; /* Size in bytes, including overhe...
leveldb 源码剖析之二 内存管理 arena.cc arena.h
you558的博客
12-09 245
leveldb内存管理主要是通过arena.cc arena.h这两个文件来实现的，其中arena.h定义了一个Arena类，arena.cc为各种成员函数的具体实现。相比于STL的空间配置，leveldb的整个框架还是比较简单的。 首先给出大概框架： 首先看arena.h头文件： #ifndef STORAGE_LEVELDB_UTIL_ARENA_H_ #define STORAGE_LEV...
glibc内存管理ptmalloc底层实现
wangle965235568的博客
11-27 1078
前言：本文剖析了glibc内存管理ptmalloc的底层实现原理，以及用到的各种数据结构的分析。源码在本文中暂未剖析，接下来会学习。如果你想了解ptmalloc的底层实现，欢迎阅读。 一、基础知识： X86平台Linux进程内存布局 32位模式下进程内存经典布局 32位模式进程默认内存布局 从上图可以看到，栈至顶向下扩展，并且栈是有界的。堆至底向
函数malloc的实现源代码
zhaofuguang的专栏
10-18 1249
引用：http://topic.csdn.net/t/20051114/18/4392766.html   /****************************************************************     Copyright   1990,   1994,   2000   by   AT&T,   Lucent   Technologies   an
glibc内存管理ptmalloc源代码分析-高清PDF-pdf版
04-16
《glibc内存管理ptmalloc源代码分析》是一份深入探讨Linux系统中glibc库内存管理机制的专业资料。glibc，全称GNU C Library，是Linux操作系统下广泛使用的C语言标准库，其中ptmalloc是glibc中负责动态内存分配的核心...
glibc内存管理ptmalloc源代码分析@华庭1
08-03
在深入探讨Glibc内存管理的...综上所述，Glibc的Ptmalloc内存管理机制是实现高效、低碎片和线程安全内存分配的关键。通过深入理解其源代码，开发者能够更好地掌握内存管理的内在机制，从而编写出更优化的C程序。
Linux堆内存管理深入分析.pdf
最新发布
01-10
本文将深入分析 Linux 堆内存管理机制，包括堆内存管理的基本概念、chunk 分配和释放策略、隐式链表技术、binlist 的概念和核心原理等。 1. 堆内存管理简介 堆内存管理是操作系统中最重要的组件之一，它负责管理...
glibc内存管理ptmalloc源代码分析1
08-03
在深入探讨Glibc内存管理的Ptmalloc源代码之前，我们先来了解一下内存管理的基本概念和Glibc中的Ptmalloc2。内存管理是操作系统和应用程序中的核心部分，它负责为程序分配和释放内存，以确保资源的有效利用和避免...
glibc内存管理ptmalloc源代码分析PDF
05-20
淘宝网的研发人员写的文档，对了解GNU C的内存分配机制有很大的帮助！
glibc内存管理ptmalloc源代码分析-清晰版.pdf
09-09
清晰版，对内存分析，程序设计非常有帮助。适合进阶的。
ptmalloc堆概述
MillionSky的专栏
05-10 1530
ptmalloc堆概述1 概述堆的概念在程序运行过程中，堆可以提供动态分配的内存，允许程序申请大小未知的内存。堆其实就是程序虚拟地址空间的一块连续的线性区域，它由低地址向高地址方向增长。 堆管理器我们一般称管理堆的那部分程序为堆管理器。· dlmalloc – General purpose allocator· ptmalloc2 – glibc· jemalloc – FreeBSD and ...
ptmalloc
热门推荐
phenics的专栏
06-07 1万+
ptmalloc phenix*2006-06-07 目录     1  前言     2  x86平台Linux程序的内存分布     3  Allocator     4  chuck的组织         4.1  chuck         4.2  chunk中的空间复用     5  空闲 chunk 容器         5.1
c malloc分析
code_moilion的博客
12-22 533
malloc void* malloc(size_t size); 函数功能：在系统中分配一段连续的可用的内存 malloc分配的内存大小至少为size指定的字节数 malloc返回值为指针，指向一段可用内存的起始地址 malloc分配的地址不能重叠，除非free掉相应地址 ...
malloc 源码
zhongjie的专栏
09-07 4122
两个函数取自UNIX 版本6 malloc.c文件，一个为malloc函数，一个为mfree函数 2515:/*map数组是一个空闲资源列表，其中每个存储区由其长度和相对地址定义*/ struct map 2516: { 2517: char
堆的理论知识学习
【xiaoxiaorenwu's blog】
04-08 273
最近花了两天时间上网查阅资料学习了堆的内存管理模式，找到了几篇还不错的文章，在此分享一下： Linux堆内存管理深入分析上 Linux堆内存管理深入分析下 PWN之堆内存管理 申请内存块 看雪的求助 较详细的内存分配过程 Glibc 内存管理 Ptmalloc2 源代码分析 华庭（庄明强） (经典，较长但较详细，可自己上网找) 这几篇文章讲的已经比较详细，基础的东西我就不再赘述，只是总结一下我自己...
内存池
mercy_ps的博客
10-05 1186
为什么需要内存池？ C/C++下我们经常需要分配足够的内存、追踪内存的分配、在不需要的时候释放内存——这个任务相当复杂。而直接使用系统调用malloc/free、new/delete进行内存分配和释放，有以下弊端： 调用malloc/new,系统需要根据“最先匹配”、“最优匹配”或其他算法在内存空闲块表中查找一块空闲内存，调用free/delete，系统可能需要合并空闲内存块，这些会产生额外开...
基于大块的内存池(arena)技术
yeyiliang的专栏
01-20 195
具体实现的说明看C语言接口与实现。 源码下载看我的资源。 外部资源:https://blog.csdn.net/ljd680/article/details/78970139
LevelDB源码分析之内存管理类arena
chenglinhust的专栏
07-09 1944
LevelDB源码分析之内存管理类arena       Leveldb的大部分内存管理依赖于C++语言的默认实现，也就是不对内存进行管理。只是在memtable的实现中用到了一个简单的内存管理器(arena)。因为memtable的内部实现skip list写入时，需要分配新节点，大量节点的直接分配可能会带来较多的碎片，影响运行效率。因此，leveldb在每个memtable中
glibc内存管理ptmalloc源代码分析.pdf
01-10
"glibc内存管理ptmalloc源代码分析.pdf" 这篇文档深入剖析了glibc中的内存管理系统ptmalloc的实现原理，ptmalloc是GNU C库(glibc)中的一个内存分配器，用于高效地管理进程的内存分配与释放。文档首先介绍了内存管理...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT鹅

您的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值