![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
淘宝分布式文件系统核心存储引擎
文章平均质量分 81
手写淘宝分布式文件系统引擎,总结整个过程
CAccept
本人是一名在校学生,专注于学Cplus,也通过Linux和QT做了几个几千行左右的项目,对于算法是又恐惧又喜爱,在博客中会分享一些Cplus、服务端、Linux、QT知识还会分享一些算法题目,学习本就是时而欣喜若狂时而郁郁寡欢,希望我们能够共同进步,一路AC!!
展开
-
淘宝分布式文件系统引擎(五) 内存映射实战
淘宝分布式文件系统,核心部分大文件结构的实现之内存映射部分原创 2021-01-14 13:36:20 · 479 阅读 · 5 评论 -
淘宝分布式文件系统引擎(四)哈希链表结构以及内存映射
文章目录哈希链表结构内存映射应用场景进程间通信 - 文件映射原理(mmap函数)文件映射 - mmap实现内存映射之msync内存映射之mremap 哈希链表结构 哈希表 - 散列表 它是基于快速存取的角度设计的,也是一种典型的“空间换时间”的做法 关键点: 键(key): 文件的编号 如, 1 、 5 、 19 。 。 。 值(value): 文件的索引信息(包含 文件大小、位置) 索引: 数组的下标(0,1,2,3,4)原创 2020-12-20 09:26:42 · 427 阅读 · 2 评论 -
淘宝分布式文件系统引擎(三) 淘宝的大文件存储结构
文章目录什么是大文件设计思路块的关键数据结构 什么是大文件 其实就是小文件的升级版,存储空间更大,里面有多个部分有:索引文件,一个主块文件和扩展块组成 设计思路 以block文件的形式存放数据文件(一般64M一个block),以下简称为“块”,每个块都有唯一的一个整数编号,块在使用之前所用到的存储空间都会预先分配和初始化(磁盘插进去执行初始化脚本时就会进行块的初始化以及分配(劈块????))。 每一个块由一个索引文件、一个主块文件和若干个扩展块组成,“小文件”主要存放在主块中,扩展块主要用来存放溢出原创 2020-12-16 10:40:04 · 623 阅读 · 0 评论 -
淘宝分布式文件系统引擎(二) 淘宝不用小文件存取数据的原因
文章目录淘宝不用小文件存取数据的原因(一)淘宝不用小文件存取数据的原因(二)淘宝不用小文件存取数据的原因(三) 淘宝不用小文件存取数据的原因(一) 大规模的小文件存取,磁头需要频繁的寻道和换道,因此在读取上容易带来较长的延时。 下面我们就用一些数据来说明频繁换道和一些数据传输时间消耗的对比吧!! 如果对于“目录”,”Inode信息“还有“块”不了解的同学可以点击这个链接 寻道一次的时间就等于千兆网络发送1MB的数据,磁头寻址换道两次就等于从磁盘上读取1MB的数据,而且我们还要记得磁头的换道和数据的读原创 2020-12-14 14:13:11 · 305 阅读 · 0 评论 -
淘宝分布式文件系统引擎(一) 文件系统基本概念
前言 因为最近在学习以及手写淘宝分布式文件系统引擎,在这记录一下学习的整个过程,也把淘宝分布式文件系统引擎这一内容做一个模块持续更新直到把这个内容完成,在这过程中会涉及到文件系统,存储,哈希映射等等一些概念,希望这些总结也能对你有所帮助,同样的如果文中有出现一些错误或者是有不同理解的地方也欢迎提出来,谢谢!!! 文件系统的基本概念 文件系统: 是一种把数据组织成文件和目录的一种存储方式,提供一些接口对于文件进行各种操作,还有对于文件权限进行控制访问,对于程序员来说就可以简单地把它看成提供各种接口的一种东西原创 2020-12-11 16:08:38 · 814 阅读 · 6 评论