ceph-osd pagecache使用限制问题

问题

ceph-osd上发现内存使用很严重，特别是cache的使用，巨大的内存使用如果不及时释放，加上swap很小，在遇到大文件读写时就会引发kernel oom，进而core文件写满所有根分区

[root@test /root]# free -mw
             total        used        free      shared     buffers       cache   available
Mem:   64047       13843         214        1385          56       49933       48095
Swap:  2039        1941          98

研究了一圈总结一下buffer肯定没问题，这个是块设备缓存，看大小也正常，cache用的太大，外面说cache由三部分组成，pagecache+inode cache+directory cache组成。

我使用如下的命令做了一个测试（https://www.jianshu.com/p/016f7cf0380d）

echo 1 > /proc/sys/vm/drop_caches

只释放了pagecache，发现大量的空间被释放

这就很明显，只是pagecache占用的很多的内存。

文件的操作无非读写

cat /proc/meminfo
...
Dirty:              1796 kB
...

dirty使用量很小，所以我判断，pagecache巨大无比只是大量的读操作引发的。

可调节的参数

• 手动强制释放

echo 1 > /proc/sys/vm/drop_caches

• 如果使用老的suse patch的内核，可以是使用这几个

vm.pagecache_limit_async = 0  #0 同步方式回收pagecache，回收比较精确，有系统开销；1 异步方式回收，回收不精确，系统开销小
vm.pagecache_limit_ignore_dirty = 1 #是否忽略脏页
vm.pagecache_limit_ratio = 0  #0-100 pagecache的总大小所占总内存的百分比
vm.pagecache_limit_reclaim_ratio = 0 #避免多次回收，拉长的比例，默认建议比上个参数多2%

可以通过vm.pagecache_limit_ratio和vm.pagecache_limit_reclaim_ratio来进行限制

• 老的内核

sysctl -w vm.pagecache="40"
echo vm.min_free_kbytes=1024 >> /etc/sysctl.conf

• 其他可能用的参数

1 dirty_expire_centisecs

cat /proc/sys/vm/dirty_expire_centicecs查看这个值，默认是3000（单位是1/100秒）。这个值表示page cache中的数据多久之后被标记为脏数据。只有标记为脏的数据在下一个周期到来时pdflush才会刷入到磁盘，这样就意味着用户写的数据在30秒之后才有可能被刷入磁盘，在这期间断电都是会丢数据的。如果想pdfflush刷新频率大写可以减小这个值，比如：echo 1000 >> /proc/sys/vm/dirty_expire_centicecs 设置为10s一个刷新周期。

2 dirty_backgroud_ratio

cat /proc/sys/vm/dirty_backgroud_ratio查看这个值，默认是10（单位是百分比，不同的内核版本可能有不同的默认值）。很多的描述文档中描述这个值表示最多缓存脏数据的空间占总内存的百分比。其实不然，查看源码的描述，它的真实意义是占（MemFree + Cached - Mapped）的百分比。达到这个上限后会唤醒pdflush把这些脏数据刷新到磁盘，在把脏数据输入磁盘之前所有写IO会被阻塞。所以如果这个值设的过大，则会周期的出现一个写IO峰值，而且这个峰值持续比较长时间，在这段时间内用户的写IO会被阻塞。对于一些业务场景需要把这个值设置的小写，把峰值写IO平分为多次小的写IO。例如：echo 5 >> cat /proc/sys/vm/dirty_backgroud_ratio 把百分比降低到5%。

3 dirty_ratio

cat /proc/sys/vm/dirty_ratio查看这个值，默认是20（单位是百分比，不同的内核版本可能有不同的默认值）。表示当脏数据占用总内存的百分比超过20%的时候，内核会把所有的写操作阻塞掉，等待pdflush把这些脏数据刷入到磁盘后才能恢复正常的IO写。要注意的是当这个事件发生时，会阻塞掉所有写操作。这样会产生一个很大的问题，一个长时间大IO会抢占更多的IO写资源，可能把其它的小IO饿死。因为大IO产生的脏数据较多，很快达到这个阀值，此时就会系统会阻塞掉所有的写IO，从而小写IO无法进行写操作。

转载于:https://my.oschina.net/xueyi28/blog/3081335