linux内存文件系统

原创 2015年11月18日 22:56:18

写文件时,太耗内存的话,可以使用dma拷贝.或者使用内存文件系统的方式.

但首先要搞清楚一点,正常的文件操作,多久会真正保存到磁盘中去呢? 参考

浅谈Linux系统写磁盘机制  http://blog.sina.com.cn/s/blog_96757e4b01011b1n.html

Linux内核为了达到最佳的磁盘操作效率,会把需要写入到磁盘的数据现在内存中缓存起来,在合适的时候才真正写入到磁盘中,这在绝大多数情况都是没有任何问题的,而且提高了系统的效率,但是如果系统当机、掉电,就会有些文件内容不会保存下来。在Linux系统关机或者重启时,会自动把缓冲区的内容自动同步到磁盘中。我们也可以手工去执行sync命令,强制将内存中的文件缓冲内容写到磁盘,这个命令是通过调用sync系统调用来实现的。



http://blog.csdn.net/yasaken/article/details/7229076

  内存映射文件与虚拟内存有些类似,通过内存映射文件可以保留一个地址空间的区域,同时将物理存储器提交给此区域,只是内存文件映射的物理存储器来自一个已经存在于磁盘上的文件,而非系统的页文件,而且在对该文件进行操作之前必须首先对文件进行映射,就如同将整个文件从磁盘加载到内存。由此可以看出,使用内存映射文件处理存储于磁盘上的文件时,将不必再对文件执行I/O操作,这意味着在对文件进行处理时将不必再为文件申请并分配缓存,所有的文件缓存操作均由系统直接管理,由于取消了将文件数据加载到内存、数据从内存到文件的回写以及释放内存块等步骤,使得内存映射文件在处理大数据量的文件时能起到相当重要的作用。另外,实际工程中的系统往往需要在多个进程之间共享数据,如果数据量小,处理方法是灵活多变的,如果共享数据容量巨大,那么就需要借助于内存映射文件来进行。实际上,内存映射文件正是解决本地多个进程间数据共享的最有效方法。

        在网上找了一些代码,自己加工之后在Linux下编译通过,可以运行实现相应功能。


linux的文件cache导致写文件消耗大量内存

在 Linux 操作系统中,当应用程序需要读取文件中的数据时,操作系统先分配一些内存,将数据从存储设备读入到这些内存中,然后再将数据分发给应用程序;当需要往文件中写数据时,操作系统先分配内存接收用户数据,然后再将数据从内存写到磁盘上。文件 Cache 管理指的就是对这些由操作系统分配,并用来存储文件数据的内存的管理


服务器装好系统之后,想要知道硬盘的读写是否能满足服务的需要,如果不满足硬盘的IO就是服务的一个瓶颈。所以我们需要测试硬盘的读写速度,测试的方法很多,下面是使用linux 自带的dd命令测试硬盘的读写速度。

time有计时作用,dd用于复制,从if读出,写到of。if=/dev/zero不产生IO,因此可以用来测试纯写速度。同理of=/dev/null不产生IO,可以用来测试纯读速度。bs是每次读或写的大小,即一个块的大小,count是读写块的数量。

测/data目录所在磁盘的纯写速度:

[root@nagios ~]# time dd if=/dev/zero of=/var/test bs=8k count=1000000
1000000+0 records in
1000000+0 records out
8192000000 bytes (8.2 GB) copied, 52.5749 seconds, 156 MB/s

real    0m55.841s
user    0m0.507s
sys     0m15.706s

##红色部分是因为使用了time命令才显示的,因此需要time命令来计算复制的时间。

测/data目录所在磁盘的纯读速度:

[root@nagios ~]# time dd if=/var/test of=/dev/null bs=8k
1000000+0 records in
1000000+0 records out
8192000000 bytes (8.2 GB) copied, 49.0088 seconds, 167 MB/s

real    0m49.025s
user    0m0.559s
sys     0m6.383s

测读写速度:

[root@nagios ~]# time dd if=/var/test of=/tmp/test bs=64k
125000+0 records in
125000+0 records out
8192000000 bytes (8.2 GB) copied, 129.239 seconds, 63.4 MB/s

real    2m9.251s
user    0m0.114s
sys     0m21.494s

看来这个测试结果还不错,嘿嘿

备注:理论上测试复制量越大测试结果越准确。

 

正常测试的时候可能不止测试一边,可能会需要很多遍求取平均值,这个测试结果在普通的重定向是没有效果的 之后 google 了一下 用下面的方式重定向到一个文件

dd if=/dev/zero of=/var/test bs=8k count=1000000  2>> info

这样测试的结果就到info文件里面了



 1. dd if=/dev/zero of=test bs=64k count=16k
  这个很不准确的,因为命令结束的时候数据还没有真正写到磁盘上去

  2. dd if=/dev/zero of=test bs=64k count=16k conv=fsync
  这个还算准确,数据已经写入磁盘

  3. dd if=/dev/zero of=test bs=64k count=4k oflag=dsync
  这个可以当成是模拟数据库插入操作,所以很慢

  接着让我们来看看buyvm的磁盘性能
  dd if=/dev/zero of=test bs=64k count=16k
  1073741824 bytes (1.1 GB) copied, 2.99687 seconds, 358 MB/s
  第一种方式得到的结果貌似很快
  dd if=/dev/zero of=test bs=64k count=16k conv=fsync
  1073741824 bytes (1.1 GB) copied, 13.9241 seconds, 77.1 MB/s
  这次慢了很多,这个数据才有参考价值
  dd if=/dev/zero of=test bs=64k count=2k oflag=dsync
  134217728 bytes (134 MB) copied, 177.813 seconds, 755 kB/s
  这是buyvm的真正实力,在84的vps上测可是有20M/s


      -dsync 可以当成是模拟数据库插入操作,在/dev/zone中读出一条数据就立即写入硬盘

      -fsync 同样也是将数据已经写入磁盘,但是是在经过缓存后最后再写入硬盘



问: 以下几种方式测试磁盘读写速度有什么区别?

1
2
3
4
dd bs=1M count=128 if=/dev/zero of=test
dd bs=1M count=128 if=/dev/zero of=testsync
dd bs=1M count=128 if=/dev/zero of=test conv=fdatasync
dd bs=1M count=128 if=/dev/zero of=test oflag=dsync

答:区别在于内存中写缓存的处理方式。
1.

dd bs=1M count=128 if=/dev/zero of=test

没有加任何参数,dd默认的方式不包括“同步(sync)”命令。也就是说,dd命令完成前并没有让系统真正把文件写到磁盘上。所以以上命令只是单纯地把这128MB的数据读到内存缓冲当中(写缓存[write cache])。所以你得到的将是一个超级快的速度。因为其实dd给你的只是读取速度,直到dd完成后系统才开始真正往磁盘上写数据,但这个速度你是看不到了。所以如果这个速度很快,先不要偷着乐。呵呵
2.

dd bs=1M count=128 if=/dev/zero of=testsync

和前面1中的完全一样。分号隔开的只是先后两个独立的命令。当sync命令准备开始往磁盘上真正写入数据的时候,前面dd命令已经把错误的“写入速度”值显示在屏幕上了。所以你还是得不到真正的写入速度。
3.

dd bs=1M count=128 if=/dev/zero of=test conv=fdatasync

加入这个参数后,dd命令执行到最后会真正执行一次“同步(sync)”操作,所以这时候你得到的是读取这128M数据到内存并写入到磁盘上所需的时间,这样算出来的时间才是比较符合实际的。
4.

dd bs=1M count=128 if=/dev/zero of=test oflag=dsync

加入这个参数后,dd在执行时每次都会进行同步写入操作。也就是说,这条命令每次读取1M后就要先把这1M写入磁盘,然后再读取下面这1M,一共重复128次。这可能是最慢的一种方式了,因为基本上没有用到写缓存(write cache)。

问:那应该用哪一种呢?
答:建议使用

dd bs=1M count=128 if=/dev/zero of=test conv=fdatasync

因为这种方式最接近计算机实际操作,所以测出来的数据最有参考价值。


Linux磁盘与文件系统管理 - 内存置换空间(swap)建置

鸟哥的 Linux 私房菜 Linux 磁盘与文件系统管理 5. 内存置换空间(swap)之建置...

Android内核与标准Linux内核在文件系统、进程间通信机制、内存管理等方面存在不同

1、文件系统: 不同于桌面系统与服务器,移动设备大多采用的不是硬盘而是采用 Flash 作为存储介质。因此,Android 内 核中增加了标准 Linux 专用于 Flash 的文件系统 YAFF...
  • gjsisi
  • gjsisi
  • 2012年09月11日 10:54
  • 1589

Linux内存文件系统——tmpfs(/dev/shm)

一、/dev/shm理论 默认的Linux发行版中的内核配置都会开启tmpfs,映射到了/dev/下的shm目录。可以通过df 命令查看结果. /dev/shm/是linux下一个非常有用的目录,...

linux内存文件系统之指南

内存文件系统使用及示例:ramdisk, ramfs, tmpfs 第一部分 在Linux中可以将一部分内存mount为分区来使用,通常称之为RamDisk。 RamDisk有三种实现方式:...

linux 内存文件系统

在Linux中可以将一部分内存当作分区来使用,我们称之为RamDisk。对于一些经常被访问的文件,而它们又不会被更改,可以将它们通过RamDisk放在内存中,即可明显地提高系统的性能。当然你的内存可要...
  • reille
  • reille
  • 2011年05月10日 17:45
  • 5148

Linux文件系统代码学习笔记2——Hash表&内存inode的创建与回收

Linux文件系统代码学习笔记1–磁盘格式化&block分配 igetput.cpp——内存inode的创建与回收iget——内存inode的创建1. hash表的作用hash队列用来存放内存inod...

Linux 内存文件系统

内存文件系统(linux,FreeBSD) 在Linux中可以将一部分内存当作分区来使用,我们称之为RamDisk。对于一些经常被访问的文件,而它们又不会被更改,可以将它们通过RamDisk...
  • MyArrow
  • MyArrow
  • 2011年12月13日 10:39
  • 1931

Linux内存文件系统

Linux内存文件系统:RamDisk,ramfs,tmpfs
  • dutsoft
  • dutsoft
  • 2016年04月27日 12:04
  • 371

linux 内存文件系统

linux 内存文件系统 2011-03-17 08:45:23 标签:linux 文件系统 休闲 职场 内存文件系统(linux,FreeBSD)  (2006-10...
  • haiross
  • haiross
  • 2015年07月14日 11:41
  • 648

linux内存文件系统之指南

原文地址 http://www.cnblogs.com/moodlxs/articles/2325075.html 内存文件系统使用及示例:ramdisk, ramfs, tmpfs  ...
  • zx824
  • zx824
  • 2012年10月16日 11:19
  • 443
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:linux内存文件系统
举报原因:
原因补充:

(最多只允许输入30个字)