存储
文章平均质量分 58
huangyu20072010
这个作者很懒,什么都没留下…
展开
-
文件系统中刷数据的实现
在PC硬件体系结构里,速度最快的存储器是CPU里面的寄存器,接着到二级缓存,再到系统RAM内存,最后才到硬盘。由于这样的体系结构,就决定了操作系统对文件的操作方式,或者说是最优化的算法。比如操作系统接收到写文件的数据时,就会先把数据保存到RAM里,然后在合适的时间或者合适的数据量时再写到硬盘里。但有时候,比如在对分区做快照的时候,我们希望数据一定要保存到硬盘里,而不是保存在RAM里,这时就需要使用系统提供的API讲系统缓存中的数据写入磁盘。 在linux中,提供了一个sync()函数,通过调用这个函数原创 2010-08-17 05:16:00 · 739 阅读 · 0 评论 -
一种数据库应用中常用的排序算法--两阶段多路归并排序算法
在数据库应用中,常常采用“两阶段多路归并排序算法”来解决对海量数据的排序问题(这里的海量数据是指数据大小远远超过了数据库可用的主存的大小,无法将所有数据一次性的载入主存进行排序)。 该算法包括以下两个阶段: 阶段1:将主存大小的数据片段进行排序,使得每条记录都是一个有序表的一部分,该表正好可以装在可用的主存内。这样就产生了任意个这样的排序子表; 阶段2:归并所有的排序子表以形成单个的排序表。 其中阶段1比较清楚,首先是将原本位于二级存储(磁盘)中的数据,分批载入主存进行排序,再写入到二级存储的新原创 2011-02-17 01:22:00 · 6924 阅读 · 2 评论 -
IO系统性能之一:衡量性能的几个指标
几个基本的概念在研究磁盘性能之前我们必须先了解磁盘的结构,以及工作原理。不过在这里就不再重复说明了,关系硬盘结构和工作原理的信息可以参考维基百科上面的相关词条——Hard disk drive(英文)和硬盘驱动器(中文)。读写IO(Read/Write IO)操作 磁盘是用来给我们存取数据用的,因此当说到IO操作的时候,就会存在两种相对应的操作,存数据时候对应的是写IO操作,取数据的时候对应的是是读IO操作。单个IO操作 当控制磁盘的控制器接到操作系统的读IO操作指令的时候,控制器就会给磁盘发出一个转载 2011-03-24 21:48:00 · 508 阅读 · 0 评论 -
BloomFilter在DataDomain中的应用
DataDomain中的重复数据检查DataDomain(DD)采用数据块级的去重技术,文件或数据流被切割为较小的segment, 然后使用160-bit的SHA1算法求取每个segment的哈希值,这些哈希值被称为segmentfingerprint, 用来标志一个segment。具有相同fingerprint的两个segment即为duplicatesegment。当有数据写入的时候,原创 2017-04-25 16:49:10 · 399 阅读 · 0 评论