Linux hugepage如何配置和使用

为什么要使用hugepage

hugepage也就是所谓的大页，为什么要使用它，自然是有它的一些优势，比如它所占用的page table entry较少，从而提高了页面查找的效率，tlb命中率也更高。

另外hugepage相当于是预留了一块内存给特定用途使用，是不受系统内存管理子系统的影响，不能被swap出去，从而使用它的性能也就更佳。

cmdline预留内存

hugepage是预留的一部分内存用于大页面使用

hugepagesz=2M hugepages=2048

多余多node的NUMA系统来说，会平均分配大页内存到不同的node上。

动态预留内存

直接写入大页的数量到如下文件节点中，可以在系统启动后预留内存给大页使用:

/sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

除了这个文件节点，还可以自定义在某个node上分配大页：

/sys/devices/system/node/node0/hugepages/hugepages-2048kB
/sys/devices/system/node/node1/hugepages/hugepages-2048kB

如何使用大页

对于预留的大页要如何使用呢？
其实很简单，预留大页成功以后会生成对应的大页设备文件目录，如果没有，那么就挂载hugetlbfs文件系统：

mount -t hugetlbfs nodev /dev/hugepages

挂载完成后，还需要进入其中创建大页，对于大页的时候，应用层都是使用mmap的形式，直接操作大页内存：

numa_set_preferred(node);
fd = open("/dev/hugepages/mypage", O_CREAT | O_RDWR, 0600);
addr = mmap(NULL, size, PROT_READ | PROT_WRITE,
             MAP_SHARED | MAP_POPULATE, fd, 0);

如果想要在特定的NUMA节点上申请大页，还可以通过设置preferred node来选择申请大页的node节点。这样就会创建完成一个特定size大小的大页内存，后续的操作都可以通过mmap地址进行读写使用。