Linux,zfs耗内存的原因剖析

本文探讨了Linux中ZFS文件系统导致内存消耗增大的原因,重点分析了与ZFS相关的kmem_cache_t缓存结构,包括zio_cache、zio_link_cache、zio_vdev_cache等。同时提及ZFS的事务处理和块设备写操作的性能问题。内容还涉及到了Oracle数据库的双机热备、数据保护以及Hadoop环境的搭建。
摘要由CSDN通过智能技术生成
    有些时候大家可能觉得Linux系统刚刚启动的时候没什么操作,为什么这么耗内存。最最常见的回答就是Linux会将很多的东西cache到内存当中。这么说是笼统的。
    linux的cache有很多种,linux之所以这么消耗内存,主要是内核的设计即使如此。
    我总结了一下,主要有两个大类:
    1.slab会先从内存当中申请一些内存,以备内核申请一个核心数据结构的时候能够快速得到满足,提高内核申请一些关键数据结构的效率。
    2.page cache,将常常需要访问的文件及数据块cache到内存当中,这样访问文件的时候就不会每次都访问磁盘。效率大大的增加了。

同时我们也可以发现有些时候,zfs on linux 这个zfs消耗内存也比较大。
    那是由于zfs需要copy on write,那么copy的操作,肯定是copy到内存当中,也就是常说的dbuf。而dbuf有几种状态,从UNCACHED 变到CACHED的状态的时候,需要从内存中申请,以备copy操作使用。
    另外一点就是由于他的dbuf经常会申请和释放,所以zfs会在刚刚创建的时候就申请大量的内存,建立几个缓冲区,

点击(此处)折叠或打开

  1. kmem_cache_t *zio_cache;
  2. kmem_cache_t *zio_link_cache;
  3. kmem_cache_t *zio_vdev_cache;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值