linux内存文件系统

写文件时,太耗内存的话,可以使用dma拷贝.或者使用内存文件系统的方式.

但首先要搞清楚一点，正常的文件操作,多久会真正保存到磁盘中去呢? 参考

浅谈Linux系统写磁盘机制  http://blog.sina.com.cn/s/blog_96757e4b01011b1n.html

Linux内核为了达到最佳的磁盘操作效率，会把需要写入到磁盘的数据现在内存中缓存起来，在合适的时候才真正写入到磁盘中，这在绝大多数情况都是没有任何问题的，而且提高了系统的效率，但是如果系统当机、掉电，就会有些文件内容不会保存下来。在Linux系统关机或者重启时，会自动把缓冲区的内容自动同步到磁盘中。我们也可以手工去执行sync命令，强制将内存中的文件缓冲内容写到磁盘，这个命令是通过调用sync系统调用来实现的。

http://blog.csdn.net/yasaken/article/details/7229076

  内存映射文件与虚拟内存有些类似，通过内存映射文件可以保留一个地址空间的区域，同时将物理存储器提交给此区域，只是内存文件映射的物理存储器来自一个已经存在于磁盘上的文件，而非系统的页文件，而且在对该文件进行操作之前必须首先对文件进行映射，就如同将整个文件从磁盘加载到内存。由此可以看出，使用内存映射文件处理存储于磁盘上的文件时，将不必再对文件执行I/O操作，这意味着在对文件进行处理时将不必再为文件申请并分配缓存，所有的文件缓存操作均由系统直接管理，由于取消了将文件数据加载到内存、数据从内存到文件的回写以及释放内存块等步骤，使得内存映射文件在处理大数据量的文件时能起到相当重要的作用。另外，实际工程中的系统往往需要在多个进程之间共享数据，如果数据量小，处理方法是灵活多变的，如果共享数据容量巨大，那么就需要借助于内存映射文件来进行。实际上，内存映射文件正是解决本地多个进程间数据共享的最有效方法。

        在网上找了一些代码，自己加工之后在Linux下编译通过，可以运行实现相应功能。

linux的文件cache导致写文件消耗大量内存

在 Linux 操作系统中，当应用程序需要读取文件中的数据时，操作系统先分配一些内存，将数据从存储设备读入到这些内存中，然后再将数据分发给应用程序；当需要往文件中写数据时，操作系统先分配内存接收用户数据，然后再将数据从内存写到磁盘上。文件 Cache 管理指的就是对这些由操作系统分配，并用来存储文件数据的内存的管理。

服务器装好系统之后，想要知道硬盘的读写是否能满足服务的需要，如果不满足硬盘的IO就是服务的一个瓶颈。所以我们需要测试硬盘的读写速度，测试的方法很多，下面是使用linux 自带的dd命令测试硬盘的读写速度。

time有计时作用，dd用于复制，从if读出，写到of。if=/dev/zero不产生IO，因此可以用来测试纯写速度。同理of=/dev/null不产生IO，可以用来测试纯读速度。bs是每次读或写的大小，即一个块的大小，count是读写块的数量。

测/data目录所在磁盘的纯写速度：

[root@nagios ~]# time dd if=/dev/zero of=/var/test bs=8k count=1000000
1000000+0 records in
1000000+0 records out
8192000000 bytes (8.2 GB) copied, 52.5749 seconds, 156 MB/s

real    0m55.841s
user    0m0.507s
sys     0m15.706s

##红色部分是因为使用了time命令才显示的，因此需要time命令来计算复制的时间。

测/data目录所在磁盘的纯读速度：

[root@nagios ~]# time dd if=/var/test of=/dev/null bs=8k
1000000+0 records in
1000000+0 records out
8192000000 bytes (8.2 GB) copied, 49.0088 seconds, 167 MB/s

real    0m49.025s
user    0m0.559s
sys     0m6.383s

测读写速度：

[root@nagios ~]# time dd if=/var/test of=/tmp/test bs=64k
125000+0 records in
125000+0 records out
8192000000 bytes (8.2 GB) copied, 129.239 seconds, 63.4 MB/s

real    2m9.251s
user    0m0.114s
sys     0m21.494s

看来这个测试结果还不错，嘿嘿

备注：理论上测试复制量越大测试结果越准确。

 

正常测试的时候可能不止测试一边，可能会需要很多遍求取平均值，这个测试结果在普通的重定向是没有效果的 之后 google 了一下 用下面的方式重定向到一个文件

dd if=/dev/zero of=/var/test bs=8k count=1000000  2>> info

这样测试的结果就到info文件里面了

 1. dd if=/dev/zero of=test bs=64k count=16k
　　这个很不准确的，因为命令结束的时候数据还没有真正写到磁盘上去

　　2. dd if=/dev/zero of=test bs=64k count=16k conv=fsync
　　这个还算准确，数据已经写入磁盘

　　3. dd if=/dev/zero of=test bs=64k count=4k oflag=dsync
　　这个可以当成是模拟数据库插入操作，所以很慢

　　接着让我们来看看buyvm的磁盘性能
　　dd if=/dev/zero of=test bs=64k count=16k
　　1073741824 bytes (1.1 GB) copied, 2.99687 seconds, 358 MB/s
　　第一种方式得到的结果貌似很快
　　dd if=/dev/zero of=test bs=64k count=16k conv=fsync
　　1073741824 bytes (1.1 GB) copied, 13.9241 seconds, 77.1 MB/s
　　这次慢了很多，这个数据才有参考价值
　　dd if=/dev/zero of=test bs=64k count=2k oflag=dsync
　　134217728 bytes (134 MB) copied, 177.813 seconds, 755 kB/s
　　这是buyvm的真正实力，在84的vps上测可是有20M/s

      -dsync 可以当成是模拟数据库插入操作，在/dev/zone中读出一条数据就立即写入硬盘

      -fsync 同样也是将数据已经写入磁盘，但是是在经过缓存后最后再写入硬盘

问: 以下几种方式测试磁盘读写速度有什么区别？

1 2 3 4

dd  bs=1M  count= 128  if= /dev /zero  of= test dd  bs=1M  count= 128  if= /dev /zero  of= test;  sync dd  bs=1M  count= 128  if= /dev /zero  of= test  conv=fdatasync dd  bs=1M  count= 128  if= /dev /zero  of= test  oflag=dsync

答：区别在于内存中写缓存的处理方式。
1.

dd  bs=1M  count= 128  if= /dev /zero  of= test

没有加任何参数，dd默认的方式不包括“同步(sync)”命令。也就是说，dd命令完成前并没有让系统真正把文件写到磁盘上。所以以上命令只是单纯地把这128MB的数据读到内存缓冲当中（写缓存[write cache]）。所以你得到的将是一个超级快的速度。因为其实dd给你的只是读取速度，直到dd完成后系统才开始真正往磁盘上写数据，但这个速度你是看不到了。所以如果这个速度很快，先不要偷着乐。呵呵
2.

dd  bs=1M  count= 128  if= /dev /zero  of= test;  sync

和前面1中的完全一样。分号隔开的只是先后两个独立的命令。当sync命令准备开始往磁盘上真正写入数据的时候，前面dd命令已经把错误的“写入速度”值显示在屏幕上了。所以你还是得不到真正的写入速度。
3.

dd  bs=1M  count= 128  if= /dev /zero  of= test  conv=fdatasync

加入这个参数后，dd命令执行到最后会真正执行一次“同步(sync)”操作，所以这时候你得到的是读取这128M数据到内存并写入到磁盘上所需的时间，这样算出来的时间才是比较符合实际的。
4.

dd  bs=1M  count= 128  if= /dev /zero  of= test  oflag=dsync

加入这个参数后，dd在执行时每次都会进行同步写入操作。也就是说，这条命令每次读取1M后就要先把这1M写入磁盘，然后再读取下面这1M，一共重复128次。这可能是最慢的一种方式了，因为基本上没有用到写缓存(write cache)。

问：那应该用哪一种呢?
答：建议使用

dd  bs=1M  count= 128  if= /dev /zero  of= test  conv=fdatasync

因为这种方式最接近计算机实际操作，所以测出来的数据最有参考价值。