Storage
GeekStuff
I will be posting instruction guides, how-tos, troubleshooting tips.
展开
-
Look-aside Cache 和 Look-through Cache
Look AsideCPU requests memory from cache and main memory simultaneously. If the data is in the cache then it is returned, otherwise the CPU waits for the data from the main memory.原创 2014-05-07 10:55:50 · 2397 阅读 · 0 评论 -
RAMCloud:基于内存的高性能存储
RAMCloud特征:1 通用的存储系统2 所有数据都在内存(没有缓存失效)3 持久性和可用性4 可扩展性(1000+ servers,32-64GB DRAM/server,100+ TB)5 低延迟(5-10us远程访问)6 高吞吐(1M ops/sec/server)原创 2014-11-13 11:08:19 · 2483 阅读 · 0 评论 -
文件系统中的逻辑块、物理块和扇区之间的关系
扇区(sector):硬件(磁盘)上的最小的操作单位,是操作系统和块设备(硬件、磁盘)之间传送数据的单位. block由一个或多个sector组成,文件系统中最小的操作单位;OS的虚拟文件系统从硬件设备上读取一个block,实际为从硬件设备读取一个或多个sector。对于文件管理来说,每个文件对应的多个block可能是不连续的;block最终要映射到sector上,所以blo原创 2013-09-08 09:04:39 · 10767 阅读 · 1 评论 -
Write-through和Write-back
write-through意思是写操作根本不使用缓存。数据总是直接写入磁盘。关闭写缓存,可释放缓存用于读操作。(缓存被读写操作共用)Write caching可以提高写操作的性能。数据不是直接被写入磁盘;而是写入缓存。从应用程序的角度看,比等待完成磁盘写入操作要快的多。因此,可以提高写性能。由控制器将缓存内未写入磁盘的数据写入磁盘。表面上看,Write cache方式比write-throug原创 2013-09-08 09:30:38 · 1474 阅读 · 0 评论 -
先进格式化
硬盘的磁道是由一序列的扇区组成的,大小通常是 512字节,并且扇区与扇区之间是有空隙、引子(lead-in)和错误校验信息的。那么采用大扇区的最直接的结果就是减少扇区之间的空隙,这样可以让出更多的空间来存放数据;而且也可以让先进格式化提供更有效率的数据完整性的错误校验机制。增大磁盘扇区的尺寸有两个实际好处:提高可靠性且增加磁盘容量,预计可将磁盘可用容量提升7%到11%。 最新的文件系原创 2013-09-12 10:28:26 · 1301 阅读 · 0 评论 -
DAS NAS SAN OBS四种存储模型结构
传统的存储技术DASDAS(Direct Attached Storage)是主机与存储系统通过SCSI总线连接起来,同时又通过网络接口连接到网络中。这种结构中,数据的流动路径为:当写入数据时,数据从网络经过网络接口通过DMA操作到达主机内存,然后从内存又通过DMA操作送到存储系统;当读取数据时,则是从存储系统到主机内存,再从内存通过网络接口送到网络上。网络存储技术NASNAS原创 2014-07-08 07:58:40 · 6476 阅读 · 0 评论 -
分布式一致性模型
进行数据复制主要出于两个目的:可靠性和性能。数据一旦被复制,就会带来一致性的问题。以数据为中心的一致性模型严格一致性对数据项x的读操作返回的值为最近写入x的值。特点:绝对全局时间次序。严格一致性是限制性最强的模型,不可实现,没有全局时钟。顺序一致性所有进程执行的结果,等同于它们的操作按某种顺序在数据仓上执行的结果。每个进程的操作都按照程序规定的顺序。所有进程看到相同的内存访问操作次序,等价于原创 2015-03-27 09:47:49 · 1663 阅读 · 0 评论 -
关闭Linux缓存
Sometimes, we have such a situation happening with droping the OS cache. We may usually tell the OS to use direct io or unbuffered reads and writes. How to drop the OS caches?To use /proc/sys/原创 2014-02-12 14:08:59 · 3799 阅读 · 0 评论 -
Linux优化SSD
1. 在fstab中添加“noatime,nodiratime,discard”参数。fstrim / -v2. /etc/rc.local可以在里面加一些启动命令更改内核的磁盘调度算法,SSD不需要,就要noop最简单 echo noop | sudo tee /sys/block/sda/queue/scheduler3. Edit: /etc/d原创 2013-10-10 20:40:36 · 1611 阅读 · 0 评论