Hugepages是从Linux kernal 2.6后被引入的,其目的是使用更大的memory page size以适应越来越大的系统内存。
理论知识:
1、两者之间有什么区别
(1. Page Table大小
Page Table是用来存放虚拟内存也和物理内存页对应关系的内存结构。因为page size较小,所以相应的改内存结构也会比较大。
而Hugepages的常见page size为2M,是4k size的500倍,所以可以大大减小page table的size。
我们来看两个例子:
这是一个没有配置Hugepage的系统,系统内存128G,pagetable大小大约为4G。
cat /proc/meminfo
MemTotal: 132086880 kB
PageTables: 4059612 kB
这是配置了Hugepage的系统,系统内存96G, PageTable大小仅为78M
MemTotal: 98999880 kB
PageTables: 79916 kB
(2.大大提高了CPU cache中存放的page table所覆盖的内存大小,从而提高了TLB命中率
进程的虚拟内存地址段先连接到page tables然后再连接到物理内存。所以在访问内存时需要先访问page tables得到虚拟内存和物理内存的映射关系,然后再访问物理内存。
CPU cache中有一部分TLB(Translation Lookaside Buffer)用来存放部分page table以提高这种装换的速度。因为page size变大了,所以同样大小的TLB,所覆盖的内存大小也变大了。提高了TBL命中率,也就是提高了地址转换的速度。
(3.使用Hugepages的内存页是不会被交换出去的,永远常驻在内存中,所以也减少了内存也替换的额外开销
2、数据库服务器上使用Hugepages要注意的几点
(1.Hugepages是在分配后就会预留出来的,其大小一定要比服务器上所有实例的SGA总和要大,差一点都不行。
比如说Hugepages设置为90G,oracle SGA为91G,那么oracle在启动的时候就不会使用到这90G的Hugepages。这90G就浪费了。所以在设置Hugepages时要计算SGA的大小,后面会给出一个脚本来计算。
(2.其他进程无法使用Hugepages的内存,所以不要设置太大,稍稍比SGA大一点保证SGA可以使用到hugepages就好了。
(3. PGA不会使用Hugepages的内存。所以11g的AMM (Automatic Memory Management,memory_target参数)是不被支持的。而ASMM(Automatic Shared Memory Management, SGA_target参数)是被支持的,这两个不要搞混淆了。
(4.在meminfo中和Hugepage相关的有四项(RHEL5)
举例说明:
HugePages_Total: 43000
HugePages_Free: 29493
HugePages_Rsvd: 23550
Hugepagesize: 2048 kB
HugePages_Total为所分配的页面数目,和Hugepagesize相乘后得到所分配的内存大小。43000*2/1024大约为84GB
HugePages_Free为从来没有被使用过的Hugepages数目。即使oracle sga已经分配了这部分内存,但是如果没有实际写入,那么看到的还是Free的。这是很容易误解的地方
HugePages_Rsvd为已经被分配预留但是还没有使用的page数目。在Oracle刚刚启动时,大部分内存应该都是Reserved并且Free的,随着oracle SGA的使用,Reserved和Free都会不断的降低
HugePages_Free – HugePages_Rsvd 这部分是没有被使用到的内存,如果没有其他的oracle instance,这部分内存也许永远都不会被使用到,也就是被浪费了。在该系统上有11.5GB的内存被浪费了。
Note: RHEL4上的meminfo有所区别,没有HugePages_Rsvd这一项,并且当oracle instance启动时,所分配的内存就从free list上被移除掉了。也就是启动后HugePages_Free就是没有被SGA用到被浪费的内存。
实战:
3、设置HugePages步骤:
第一步:设置memlock
在/etc/security/limits.conf文件中添加memlock的限制,注意该值略微小于实际物理内存的大小。比如物理内存是64GB,可以设置为如下:
* soft memlock 60397977
* hard memlock 60397977
如果这里的值超过了SGA的需求,也没有不利的影响。但是,其实按我的实验,这个值其实大于SGA,小于物理内存就可以,尽量应该靠近SGA。
如果使用了Oracle Linux的oracle-validated包,或者Exadata DB compute会自动配置这个参数。
第二步:验证memlock使用如下命令查看参数值: 这里,最好是重启一下服务器再验证,比较稳妥
$ ulimit -l
60397977
第三步:11g中禁用AMM ----注意
如果Oracle是11g以后的版本,那么默认创建的实例会使用Automatic Memory Management (AMM)的特性,该特性与HugePage不兼容。在设置HugePage之前需要先禁用AMM。设置初始化参数MEMORY_TARGET和MEMORY_MAX_TARGET为0即可。使用AMM的情况下,所有的SGA内存都是在/dev/shm下分配的,因此在分配SGA时不会使用HugePage。这也是AMM与HugePage不兼容的原因。
另外:默认情况下ASM instance也是使用AMM的,但因为ASM实例不需要大SGA,所以对ASM实例使用HugePages意义不大。
所以,如果我们要使用HugePage,那么就必须先确保没有设置MEMORY_TARGET/ MEMORY_MAX_TARGET参数。
第四步:计算vm.nr_hugepages的建议值
确保所有的数据库实例都已经启动,包括ASM实例。使用hugepages_settings.sh脚本获取thevm.nr_hugepages内核参数的建议值。
./hugepages_settings.sh ------脚本见下面附件
...(略)
Recommended setting: vm.nr_hugepages = 1496
第五步:在/etc/sysctl.conf文件中设置vm.nr_hugepages参数
...
vm.nr_hugepages = 1496
第六步:停止所有实例,并重启服务器
验证配置:
在重启系统之后,确保所有的数据库实例都已经启动,使用如下命令检查HugePage的状态
为了确保HugePages配置的有效性,HugePages_Free值应该小于HugePages_Total的值,并且应该等于HugePages_Rsvd的值。
正常情况应该只差1-2
实例:机器配置:128G物理内存+56G的SGA
root># grep HugePages /proc/meminfo
HugePages_Total: 28674
HugePages_Free: 707
HugePages_Rsvd: 706
附计算hugepages脚本:
#!/bin/bash
#
# hugepages_settings.sh
#
# Linux bash script to compute values for the
# recommended HugePages/HugeTLB configuration
#
# Note: This script does calculation for all shared memory
# segments available when the script is run, no matter it
# is an Oracle RDBMS shared memory segment or not.
#
# This script is provided by Doc ID 401749.1 from My Oracle Support
# http://support.oracle.com
# Welcome text
echo "
This script is provided by Doc ID 401749.1 from My Oracle Support
(http://support.oracle.com) where it is intended to compute values for
the recommended HugePages/HugeTLB configuration for the current shared
memory segments. Before proceeding with the execution please make sure
that:
* Oracle Database instance(s) are up and running
* Oracle Database 11g Automatic Memory Management (AMM) is not setup
(See Doc ID 749851.1)
* The shared memory segments can be listed by command:
# ipcs -m
Press Enter to proceed..."
read
# Check for the kernel version
KERN=`uname -r | awk -F. '{ printf("%d.%d\n",$1,$2); }'`
# Find out the HugePage size
HPG_SZ=`grep Hugepagesize /proc/meminfo | awk '{print $2}'`
# Initialize the counter
NUM_PG=0
# Cumulative number of pages required to handle the running shared memory segments
for SEG_BYTES in `ipcs -m | awk '{print $5}' | grep "[0-9][0-9]*"`
do
MIN_PG=`echo "$SEG_BYTES/($HPG_SZ*1024)" | bc -q`
if [ $MIN_PG -gt 0 ]; then
NUM_PG=`echo "$NUM_PG+$MIN_PG+1" | bc -q`
fi
done
RES_BYTES=`echo "$NUM_PG * $HPG_SZ * 1024" | bc -q`
# An SGA less than 100MB does not make sense
# Bail out if that is the case
if [ $RES_BYTES -lt 100000000 ]; then
echo "***********"
echo "** ERROR **"
echo "***********"
echo "Sorry! There are not enough total of shared memory segments allocated for
HugePages configuration. HugePages can only be used for shared memory segments
that you can list by command:
# ipcs -m
of a size that can match an Oracle Database SGA. Please make sure that:
* Oracle Database instance is up and running
* Oracle Database 11g Automatic Memory Management (AMM) is not configured"
exit 1
fi
# Finish with results
case $KERN in
'2.4') HUGETLB_POOL=`echo "$NUM_PG*$HPG_SZ/1024" | bc -q`;
echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;;
'2.6') echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;;
*) echo "Unrecognized kernel version $KERN. Exiting." ;;
esac
# End