Linux高级--3.1.2.4 内存池--jemalloc使用

安装和接口使用：

jemalloc 是一个高性能内存分配库，可以直接替代系统默认的 malloc 实现，广泛用于需要优化内存管理的场景。以下是如何使用 jemalloc 的详细说明。

---

1. 安装 jemalloc

Linux 下安装

方法 1：通过包管理器安装

# Ubuntu/Debian
sudo apt-get install libjemalloc-dev

# CentOS/RHEL
sudo yum install jemalloc

方法 2：从源码编译

如果需要最新版本或特殊配置，可以从源码编译：

# 下载源码
git clone https://github.com/jemalloc/jemalloc.git
cd jemalloc

# 配置和编译
./autogen.sh
make

# 安装
sudo make install
sudo ldconfig

---

2. 将 jemalloc 链接到程序

动态链接

在编译时显式链接 jemalloc：

gcc -o my_program my_program.c -ljemalloc

动态加载（无需重新编译）

通过设置环境变量，在运行时使用 jemalloc 作为默认内存分配器：

LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libjemalloc.so.2 ./my_program

• 路径检查：确保 libjemalloc.so.2 的路径正确，可通过以下命令找到：

  find /usr/lib -name "libjemalloc.so*"
  

静态链接

编译时使用静态库：

gcc -o my_program my_program.c /usr/lib/x86_64-linux-gnu/libjemalloc.a

---

3. 配置和调优

jemalloc 提供多种调优选项，可以通过环境变量控制其行为：

常用环境变量

• MALLOC_CONF：配置 jemalloc 的行为，以 key-value 的形式设置。 例如，启用线程本地缓存：

  MALLOC_CONF="tcache:true" ./my_program
  

常用配置选项

参数	说明	示例
tcache:true	启用线程本地缓存	MALLOC_CONF="tcache:true"
lg_chunk:21	设置默认分配块大小（2^21 = 2MB）	MALLOC_CONF="lg_chunk:21"
dirty_decay_ms	设置脏页回收时间（毫秒）	MALLOC_CONF="dirty_decay_ms:1000"
stats_print:true	在程序退出时打印统计信息	MALLOC_CONF="stats_print:true"

---

4. 使用 jemalloc API

jemalloc 提供了扩展的 API，可以细粒度地控制内存管理。以下是一些常用的函数：

API 示例

#include <jemalloc/jemalloc.h>
#include <stdio.h>
#include <stdlib.h>

int main() {
    // 使用 jemalloc 分配内存
    void* ptr = je_malloc(1024); // 分配 1024 字节
    if (!ptr) {
        perror("je_malloc failed");
        return 1;
    }

    printf("Allocated memory at %p\n", ptr);

    // 使用 jemalloc 重新分配内存
    ptr = je_realloc(ptr, 2048); // 扩展到 2048 字节
    printf("Reallocated memory at %p\n", ptr);

    // 释放内存
    je_free(ptr);

    // 查看 jemalloc 的统计信息
    char stats[4096];
    size_t stats_len = sizeof(stats);
    je_malloc_stats_print(NULL, NULL, NULL); // 直接打印统计信息到 stdout

    return 0;
}

常用 jemalloc 函数

函数	说明
je_malloc(size_t size)	分配指定大小的内存
je_calloc(nmemb, size)	分配初始化为零的内存（与标准 calloc 类似）
je_realloc(ptr, size)	重新分配内存
je_free(ptr)	释放内存
je_malloc_usable_size(ptr)	获取分配块实际可用大小
je_malloc_stats_print()	打印内存分配统计信息

---

5. 查看内存使用统计

通过 je_malloc_stats_print 或环境变量 MALLOC_CONF，可以打印内存统计信息。

MALLOC_CONF="stats_print:true" ./my_program

输出示例：

___ Begin jemalloc statistics ___
Version: 5.3.0
Assertions disabled
Run-time option settings:
  opt.abort: false
  opt.dss: "secondary"
  opt.narenas: 32
  ...
Allocated: 1.5 KiB
Active: 2.0 KiB
Metadata: 800 B
Resident: 4.0 KiB
Mapped: 6.0 KiB
...
___ End jemalloc statistics ___

---

6. 性能测试

可以通过工具如 benchmarks/malloc_bench 或自定义测试代码，比较 jemalloc 与系统默认分配器的性能。

简单测试代码：

#include <stdlib.h>
#include <stdio.h>
#include <time.h>

int main() {
    const size_t iterations = 1000000;
    const size_t size = 128;

    clock_t start = clock();

    for (size_t i = 0; i < iterations; i++) {
        void* ptr = malloc(size);
        free(ptr);
    }

    clock_t end = clock();

    printf("Time taken: %lf seconds\n", (double)(end - start) / CLOCKS_PER_SEC);

    return 0;
}

运行：

# 使用系统默认分配器
gcc test.c -o test
./test

# 使用 jemalloc
gcc test.c -o test -ljemalloc
./test

---

7. 常见问题

问题 1：无法加载 jemalloc 动态库

• 检查 libjemalloc.so 路径是否正确。
• 使用 LD_PRELOAD 前先用 find /usr/lib 找到准确路径。

问题 2：性能未显著提升

• jemalloc 对多线程程序效果最明显。单线程程序可能看不到明显改进。
• 确保启用了 tcache 等优化功能。

问题 3：统计信息过多

• 使用 je_malloc_stats_print() 时，可以自定义回调函数，打印必要的信息。

---

总结

1. 安装方式：推荐通过包管理器安装，简化配置。
2. 使用方式：
   • 动态链接：-ljemalloc。
   • 动态加载：LD_PRELOAD。
3. 调优和监控：
   • 配置 MALLOC_CONF 环境变量。
   • 使用 API 查看统计信息。
4. 适用场景：多线程、长时间运行的高性能应用。

通过以上步骤，你可以快速集成并优化 jemalloc 的使用。

---

配置实现在代码中加载： 

jemalloc 不直接提供通过配置文件加载设置的功能，但可以通过环境变量（MALLOC_CONF）来动态配置其内存分配行为，包括预先分配内存的大小或控制内存管理策略。如果需要通过配置文件加载设置，你可以编写程序来读取配置文件内容，然后设置对应的环境变量或调用 jemalloc 的 API。

---

1. 使用 MALLOC_CONF 设置预分配大小

jemalloc 的 MALLOC_CONF 提供了控制内存分配行为的参数，其中 narenas 和 lg_chunk 可以间接控制预先分配的内存：

关键参数

参数	作用	示例
narenas	设置分配器 arena 的数量（影响线程私有分配器数量）	MALLOC_CONF="narenas:4"
lg_chunk	设置分配块大小（2^lg_chunk 字节）。影响大内存分配时的最小分配单位。	MALLOC_CONF="lg_chunk:22"
dirty_decay_ms	设置脏页的回收时间（毫秒）。值越小，内存越快被回收，适合减少内存占用峰值。	MALLOC_CONF="dirty_decay_ms:100"

例如：

export MALLOC_CONF="narenas:4,lg_chunk:21"

• narenas:4 表示启用 4 个 arena。
• lg_chunk:21 表示每次分配的最小大块内存为 221=2 MB2^{21} = 2\ \mathrm{MB}。

---

2. 配置文件加载的实现方法

虽然 jemalloc 不直接支持配置文件加载，但可以通过程序读取配置文件后，设置环境变量或调用相关 API。

步骤

1. 编写配置文件（例如 jemalloc.conf）：

   narenas=4
   lg_chunk=21
   dirty_decay_ms=500
   

2. 程序读取配置文件并设置环境变量： 使用 C 代码读取配置文件，然后动态设置 MALLOC_CONF：

   #include <stdlib.h>
   #include <stdio.h>
   #include <string.h>
   
   void load_jemalloc_config(const char* config_path) {
       FILE* file = fopen(config_path, "r");
       if (!file) {
           perror("Failed to open config file");
           return;
       }
   
       char line[256];
       char malloc_conf[1024] = {0};
       while (fgets(line, sizeof(line), file)) {
           // 去掉换行符
           line[strcspn(line, "\n")] = 0;
   
           // 拼接配置
           if (strlen(malloc_conf) > 0) {
               strcat(malloc_conf, ",");
           }
           strcat(malloc_conf, line);
       }
       fclose(file);
   
       // 设置环境变量
       setenv("MALLOC_CONF", malloc_conf, 1);
       printf("MALLOC_CONF set to: %s\n", malloc_conf);
   }
   
   int main() {
       load_jemalloc_config("jemalloc.conf");
       // 正常程序逻辑
       return 0;
   }
   

3. 运行程序时加载配置： 确保 jemalloc.conf 文件路径正确：

   ./my_program
   

---

3. 动态 API 调整 jemalloc 行为

可以通过 mallctl API 在运行时动态调整配置。例如：

动态设置 arena 数量

#include <jemalloc/jemalloc.h>
#include <stdio.h>

int main() {
    unsigned narenas = 8;
    size_t sz = sizeof(narenas);
    if (je_mallctl("arenas.narenas", &narenas, &sz, NULL, 0) == 0) {
        printf("Set narenas to %u\n", narenas);
    } else {
        perror("Failed to set narenas");
    }

    return 0;
}

---

4. 常见问题与注意事项

问题 1：预分配大小调整对内存池的影响

• lg_chunk 过大时，可能导致小块内存分配浪费。
• dirty_decay_ms 设置较小，可以减少长期运行程序的内存占用峰值，但可能增加系统频繁回收的开销。

问题 2：如何调试 jemalloc 行为

• 使用 je_malloc_stats_print() 打印当前分配统计。
• 配合 MALLOC_CONF="stats_print:true" 环境变量查看程序退出时的统计。

---

总结

• jemalloc 的预分配大小和行为主要通过 MALLOC_CONF 配置。
• 如果需要从文件加载配置，可以通过自定义代码实现。
• 动态 API 提供更灵活的运行时调整能力。

---

gitlab.0voice.com