存储
redfivehit
这个作者很懒,什么都没留下…
展开
-
HDFS、Ceph、GFS、GPFS、Swift、Lustre
HDFS/CEPH/GFS/GPFS/Swift这类分布式存储,按照存储的类型来区分,HDFS/GPFS/GFS属于文件存储,CEPH属于统一存储–即块/对象/文件统一体,Swift属于对象存储-目前属于OpenStack下面的一个子项目。1)HDFSHadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部原创 2020-09-04 14:42:22 · 1001 阅读 · 0 评论 -
SSTable和MEMtable 结构
SSTable文件的结构整体上看 SSTable文件分为数据区与索引区,尾部的footer指出了meta index block与index block的偏移与大小,index block指出了各data block的偏移与大小,metaindex block指出了filter block的偏移与大小。1)data block:存储key-value记录,分为Data、type、CRC三部分2)filter block:默认没有使用,用于快速从data block 判断key-value是否..原创 2020-07-22 11:57:59 · 693 阅读 · 0 评论 -
存储技术FTL基础知识学习
有参考大神的博客和网页,,如果涉及侵权,请联系我,我删帖!!!一.基本理论1.FTL(Flash translation layer)由来:闪存的读写单位为页,而页的大小一般为4KB或8KB,但我们的操作系统读写数据是按HDD(硬盘)的扇区尺寸进行的(512Byte(字节)),更麻烦的是闪存擦除以块作单位,而且未擦除就无法写入,这导致操作系统现在使用的文件系统根本无法管理SSD(固态硬盘),需要更换更先进、复杂的文件去解决这个问题,但会增加操作系统负担。而为了不加重操作系统的负担,SSD采用软.转载 2020-07-21 16:33:54 · 1329 阅读 · 0 评论 -
介绍一下 M.2,SATA,NVMe
链接:https://www.zhihu.com/question/48972075/answer/521468195简单介绍一下 M.2,SATA,NVMe这些SSD名词,以及他们的关系。1. 物理接口M.2 , U.2 , AIC, NGFF 这些属于物理接口。像 M.2 可以是 SATA SSD 也可以是 NVMe(PCIe) SSD。金手指上有一个 SATA/PCIe 的选择信号,来区分两者。很多笔记本的M.2 接口也是同时支持两种类型的盘的。M.2 , 主要用在 笔记本上,优.转载 2020-07-14 15:28:57 · 1349 阅读 · 0 评论 -
bitcask存储模型
----《大规模分布式存储系统:原理解析与架构实战》读书笔记最近一直在分析OceanBase的源码,恰巧碰到了OceanBase的核心开发者的新作《大规模分布式存储系统:原理解析与架构实战》.看完样章后决定入手,果然物有所值。对于准备学习分布式的同学,这是一本不错的书籍,相对系统,全面的介绍了分布式的相关技术和项目,基本都是干货。还有一半是在介绍OceanBase的内容,对我来说,正是踏破铁鞋无觅处,接下来会有几篇专门研究存储引擎的读书笔记哟。废话不多说,转入正题。1.存储的介质与读写谈存储,那么理转载 2020-06-12 11:37:41 · 271 阅读 · 0 评论