Transparent Huge Pages相关概念及对mysql的影响

2019独角兽企业重金招聘Python工程师标准>>>

之前在弄tokudb的时候，在centos 6上面，需要执行 echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled关闭Transparent Huge Pages，当时未作深究，现在重新翻出来看看。

说Transparent Huge Pages之前，首先说说Huge Pages。

一般而言，内存管理的最小块级单位叫做page，一个page是4096bytes，1M的内存会有256个page，1GB的话就会有256,000个page。CPU通过内置的内存管理单元维护着page表记录。

正常来说，有两种方式来增加内存可以管理的内存大小：

1.增大硬件内存管理单元的大小。

2.增大page的大小。

第一个方法不是很现实，现代的硬件内存管理单元最多只支持数百到上千的page表记录，并且，对于数百万page表记录的维护算法必将与目前的数百条记录的维护算法大不相同才能保证性能，目前的解决办法是，如果一个程序所需内存page数量超过了内存管理单元的处理大小，操作系统会采用软件管理的内存管理单元，但这会使程序运行的速度变慢。

从redhat 6（centos，sl，ol）开始，操作系统开始支持 Huge Pages，也就是大页。

简单来说， Huge Pages就是大小为2M到1GB的内存page，主要用于管理数千兆的内存，比如1GB的page对于1TB的内存来说是相对比较合适的。

THP（Transparent Huge Pages）是一个使管理Huge Pages自动化的抽象层。

目前需要注意的是，由于实现方式问题，THP会造成内存锁影响性能，尤其是在程序不是专门为大内内存页开发的时候，简单介绍如下：

操作系统后台有一个叫做khugepaged的进程，它会一直扫描所有进程占用的内存，在可能的情况下会把4kpage交换为Huge Pages，在这个过程中，对于操作的内存的各种分配活动都需要各种内存锁，直接影响程序的内存访问性能，并且，这个过程对于应用是透明的，在应用层面不可控制,对于专门为4k page优化的程序来说，可能会造成随机的性能下降现象。

对于mysql的意义：

mysql有两个参数控制对于Huge Pages的使用。

large_page_size以及large_page，large_page_size没有意义，只是用于显示large_page占用的大小，large_page参数用于启用innodb的Huge Pages使用，并且支持linux的THP，可以避免THP运行对mysql进程的影响。

转载于:https://my.oschina.net/llzx373/blog/226446