Linux HugePages 配置 与 Oracle 性能关系说明

1.1 HugePages 介绍

HugePages is afeature integrated into the Linux kernel with release 2.6. This featurebasically provides the alternative to the 4K page size (16Kfor IA64) providing bigger pages.

 

关于HugePages，有一些相关的专业术语，具体如下：

（1）  Page Table: A page table is thedata structure of a virtual memory system in an operating system to store themapping between virtual addresses and physical addresses. This means that on avirtual memory system, the memory is accessed by first accessing a page tableand then accessing the actual memory location implicitly.

--Page Table 是操作系统上的虚拟内存系统的数据结构，其用来存储虚拟内存地址和物理内存地址之间的映射关系。这就意味着在虚拟内存系统上，我们访问内存时，是先访问Page Table，然后根据Page Table 中的映射关系，隐式的转移到物理的内存位置。

（2）  TLB: A Translation LookasideBuffer (TLB) is a buffer (or cache) in a CPU that contains parts ofthe page table. This is a fixed size buffer being used to do virtual addresstranslation faster.

--TLB(Translation Lookaside Buffer) 是CPU 中的一块buffer 或者cache，其大小的固定的， TLB中包含了部分Page Table，用来快速进行虚拟地址的转换

（3）  hugetlb: This is an entryin the TLB that points to a HugePage (a large/big page larger than regular 4Kand predefined in size). HugePages are implemented via hugetlb entries, i.e. wecan say that a HugePage is handled by a "hugetlb page entry". The'hugetlb" term is also (and mostly) used synonymously with a HugePage(See Note261889.1). In this document the term "HugePage" is going to beused but keep in mind that mostly "hugetlb" refers to the sameconcept.

--hugetlb 是TLB中的一个entry，其指向HugePage（大于4k或预定义的一个large page）。 HugePage 通过hugetlb entries来实现，我们也可以说HugePage 是hugetlb page entry的一个句柄。 在MOS 文档：Note 261889.1中，二者是几乎是相同的概念。

  

  --当一个进程使用一块内存来工作时，进程使用的page 从local page table 中引用。 Local page table中的entries 又引用了System-Wide Page Table的page， 该page 指向了实际的物理内存地址。

所以，理论上，用户的进程（如oracle进程），根据local page table中的entry 指向了system page table中的entry，而System page table中的entry 指向了实际的物理内存。

    当然，也有可能，2个不同的O/S 进程指向了system-wide page table 中同一个entry，如下图所示，最常见的原因是Oracle SGA的使用。

--当配置了HugePage后，最基本的不同是 process page table 和 system page table中的entry 都包含了huge page的属性。所以page table 中的任一page 都可能是huge page 或者regular page。

 1，没有swap。Notswappable: HugePages are not swappable. Therefore there is no page-in/page-outmechanism overhead.HugePages are universally regarded as pinned.

   2，减轻快表压力。Reliefof TLB pressure:TLB表格的更小了，效率提高

   3，减轻换页表的负载。每个表单需64字节，如果管理50GB的物理内存，如果使用传统4K页面pagetable需要800M大小,而是用HugePages仅需要40M

   4，提高内存的性能，降低CPU负载，原理同上

下表显示了不同平台下HugePages的值：

 

HW Platform	Source Code Tree	Kernel 2.4	Kernel 2.6
Linux x86 (IA32)	i386	4 MB	4 MB *
Linux x86-64 (AMD64, EM64T)	x86_64	2 MB	2 MB
Linux Itanium (IA64)	ia64	256 MB	256 MB
IBM Power Based Linux (PPC64)	ppc64/powerpc	N/A **	16 MB
IBM zSeries Based Linux	s390	N/A	N/A
IBM S/390 Based Linux	s390	N/A	N/A

二． 配置HugePages

 

2.1 第一步： 设置memlock

在/etc/security/limits.conf文件中添加memlock的限制，注意该值略微小于实际物理内存的大小。 比如物理内存是64GB，可以设置为如下：

*   soft  memlock    60397977【kb】
*   hard   memlock    60397977

如果这里的值超过了SGA的需求，也没有不利的影响。

如果使用了Oracle Linux的oracle­-validated包，或者Exadata DB compute会自动配置这个参数。

2.2 第二步： 验证memlock

使用如下命令查看参数值：

$ ulimit -l
60397977

2.3 第三步：11g中禁用AMM

如果Oracle 是11g以后的版本，那么默认创建的实例会使用Automatic Memory Management (AMM)的特性，该特性与HugePage不兼容

在设置HugePage之前需要先禁用AMM。设置初始化参数MEMORY_TARGET 和MEMORY_MAX_TARGET 为0即可。

使用AMM的情况下，所有的SGA 内存都是在/dev/shm 下分配的，因此在分配SGA时不会使用HugePage。这也是AMM 与HugePage不兼容的原因。

另外：默认情况下ASM instance 也是使用AMM的，但因为ASM 实例不需要大SGA，所以对ASM 实例使用HugePages意义不大。

如果我们要使用HugePage，那么就必须先确保没有设置MEMORY_TARGET/ MEMORY_MAX_TARGET参数。

2.4 第四步：计算vm.nr_hugepages的建议值

确保所有的数据库实例都已经启动，包括ASM 实例。使用hugepages_settings.sh 脚本获取thevm.nr_hugepages 内核参数的建议值。

$ ./hugepages_settings.sh
Recommended setting: vm.nr_hugepages = 1496
$

2.5 第五步： 在/etc/sysctl.conf文件中设置vm.nr_hugepages参

vm.nr_hugepages = 1496

2.6 第六步：停止所有实例，并重启服务器

2.7 验证配置

在重启系统之后，确保所有的数据库实例都已经启动，使用如下命令检查HugePage的状态：

# grep HugePages /proc/meminfo
HugePages_Total:    1496
HugePages_Free:      485
HugePages_Rsvd:      446
HugePages_Surp:        0

为了确保HugePages配置的有效性，HugePages_Free值应该小于HugePages_Total 的值，并且应该等于HugePages_Rsvd的值。

Hugepages_Free 和HugePages_Rsvd 的值应该小于SGA 分配的gages。

检查hugepagesize

ora_test@root[/root]> grep Hugepagesize /proc/meminfo Hugepagesize: 4096 kB

配置分配hugepage的数量

nr_hugepages的计算公式:nr_hugepages>=sga(mb)/Hugepagesize(mb)

ora_test@root[/root]> echo 50 > /proc/sys/vm/nr_hugepages ora_test@root[/root]> sysctl -w vm.nr_hugepages=50 vm.nr_hugepages = 50 ora_test@root[/root]> echo "vm.nr_hugepages=50" >> /etc/sysctl.conf