redis使用过程中主机内核层面的一些优化

2019独角兽企业重金招聘Python工程师标准>>>

案发现场的日志：

缓存集群redis重启错误报错：
29808:M 07 Jun 09:46:32.209 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
29808:M 07 Jun 09:46:32.209 # Server started, Redis version 3.0.4
29808:M 07 Jun 09:46:32.209 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
29808:M 07 Jun 09:46:32.209 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.

优化选项：
1.调大/proc/sys/net/core/somaxconn参数
2.修改vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1 
3.'echo never > /sys/kernel/mm/transparent_hugepage/enabled'  add it to your /etc/rc.local  有待测试

优化建议：
1.命令：sysctl -w net.core.somaxconn = 1024 或者 echo ‘net.core.somaxconn= 1024’ >>/etc/sysctl.conf；sysctl -p
net.core.somaxconn是linux中的一个kernel参数，表示socket监听（listen）的backlog上限。
backlog是socket的监听队列，当一个请求（request）尚未被处理或建立时，他会进入backlog。
而socket server可以一次性处理backlog中的所有请求，处理后的请求不再位于监听队列中。
当server处理请求较慢，以至于监听队列被填满后，新来的请求会被拒绝。
所以说net.core.somaxconn限制了接收新 TCP 连接侦听队列的大小。
对于一个经常处理新连接的高负载 web服务环境来说，默认的 128 太小了。生产环境和cpu的核数也是相关的，当前内核64和，参数值65535

２.命令：sysctl -w vm.overcommit_memory = 1　或者  echo 'vm.overcommit_memory = 1' >>/etc/sysctl.conf；sysctl -p
overcommit_memory参数说明：
设置内存分配策略（可选，根据服务器的实际情况进行设置）
/proc/sys/vm/overcommit_memory
可选值：0、1、2。
0， 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。
1， 表示内核允许分配所有的物理内存，而不管当前的内存状态如何。
2， 表示内核允许分配超过所有物理内存和交换空间总和的内存
注意：redis在dump数据的时候，会fork出一个子进程，理论上child进程所占用的内存和parent是一样的，比如parent占用的内存为8G，
这个时候也要同样分配8G的内存给child,如果内存无法负担，往往会造成redis服务器的down机或者IO负载过高，效率下降。所以这里比较优化的内存分配策略应该设置为 1（表示内核允许分配所有的物理内存，而不管当前的内存状态如何）。

有待测试：

３．命令：'echo never > /sys/kernel/mm/transparent_hugepage/enabled'  不启用(会限制内存碎片清理，会使用系统软件的算法管理内存映射)此处可能理解有误，欢迎指正。

与 /sys/kernel/mm/transparent_hugepage/defrag　always  (表示时刻进行内存碎片清理)息息相关

    在 Linux 操作系统上运行内存需求量较大的应用程序时，由于其采用的默认页面大小为 4KB，因而将会产生较多 TLB Miss 和缺页中断，从而大大影响应用程序的性能。当操作系统以 2MB 甚至更大作为分页的单位时，将会大大减少 TLB Miss 和缺页中断的数量，显著提高应用程序的性能。这也正是 Linux 内核引入大页面支持的直接原因。好处是很明显的，假设应用程序需要 2MB 的内存，如果操作系统以 4KB 作为分页的单位，则需要 512 个页面，进而在 TLB 中需要 512 个表项，同时也需要 512 个页表项，操作系统需要经历至少 512 次 TLB Miss 和 512 次缺页中断才能将 2MB 应用程序空间全部映射到物理内存；然而，当操作系统采用 2MB 作为分页的基本单位时，只需要一次 TLB Miss 和一次缺页中断，就可以为 2MB 的应用程序空间建立虚实映射，并在运行过程中无需再经历 TLB Miss 和缺页中断（假设未发生 TLB 项替换和Swap）。
    为了能以最小的代价实现大页面支持，Linux 操作系统采用了基于 hugetlbfs 特殊文件系统 2M 字节大页面支持。这种采用特殊文件系统形式支持大页面的方式，
使得应用程序可以根据需要灵活地选择虚存页面大小，而不会被强制使用 2MB 大页面。本文将针对 hugetlb 大页面的应用和内核实现两个方面进行简单的介绍，以期起到抛砖引玉的作用。

有关linux内核hugepage相关的资料：

https://www.kernel.org/doc/Documentation/vm/transhuge.txt

 

转载于:https://my.oschina.net/xxbAndy/blog/688156