分布式存储
专注于分布式存储领域内知识的总结与分享,主要是块存储和对象存储。
Summer_ZJU
如果你不去努力,就没有资格抱怨
展开
-
CDN
好记性不如烂笔头o(^▽^)o此文主要作为初步接触CDN的学习和了解,查阅了一些资料,并按照自己的阅读习惯进行语言整理、分段和整合,参考资料见文末1,2。CDNCDN一定义二CDN网络结构三CDN工作原理四具体实例五关键技术一、定义背景: 当下的互联网应用都包含大量的静态内容,但静态内容以及一些准动态内容又是最耗费带宽的,特别是针对全国甚至全世界的大型网站,如果这些请求都指向主站的服务原创 2016-09-20 07:55:41 · 3193 阅读 · 0 评论 -
Ceph浅接触
cephceph定义特性架构Ceph和对象存储系统定义原始论文:《Ceph: Reliable, Scalable, and High-Performance Distributed Storage》Ceph的官方网站Ceph.com定义:“Ceph is a unified, distributed storage system designed for excellent perform原创 2016-09-20 08:28:06 · 1120 阅读 · 0 评论 -
linux下动态库的生成和链接
linux下动态库的生成和链接(.so)本质上来说库是一种可执行代码的二进制形式,可以被操作系统载入内存执行。windows和linux下都存在库,但不同。静态库:.a 文件。静态库在程序编译时会被连接到目标代码中,程序运行时将不再需要该静态库。动态库:.so,也叫共享库(shared object)。程序运行时的动态链接,多个进程可以链接同一个共享库。动态库在程序编译时并不会原创 2016-05-03 07:57:50 · 4127 阅读 · 0 评论 -
gcc编译基本用法
gcc的基本用法命令格式:gcc [选项] [文件名]编译的四个阶段:-E:仅执行编译预处理; -c:仅执行编译操作,不进行连接操作;-S:将C代码转换为汇编代码; -o:指定生成的输出文件。–c是使用GNU汇编器将源文件转化为目标代码之后就结束,在这种情况下,只调用了C编译器(ccl)和汇编器(as),而连接器(ld)并没有被执行,所以输出原创 2016-05-03 08:11:34 · 63981 阅读 · 0 评论 -
VIM 命令学习记录
VIM的命令挺多,网上一搜也有很多总结,一下子看那么多也记不住,还是要在实战中去学习,以下是自己平常用到的一些命令,记录一下。/ 后面输入字符进行搜索* 向后搜索光标所在位置的单词# 向前搜索光标所在位置的单词n和N可以继续向后或向前搜索匹配的字符串:set hlsearch 高亮所有匹配字符串:nohlsearch 临时关闭,他的缩写形式是::noh:原创 2016-05-16 07:58:21 · 663 阅读 · 0 评论 -
LINUX命令随记
pidof: 找出正在运行程序的进程PID格式:pidof program找出program程序的进程PID,如果有多个就会全部列出,program不能是shell脚本名称。 格式:pidof -s program找出program程序的进程PID,只列出一个。(Single shot - this instructs the program to only return on原创 2016-06-12 07:59:31 · 622 阅读 · 1 评论 -
container_of学习
container_of学习定义定义1:#define container_of(ptr, type, member) ({ \ const typeof(((type *)0)->member) * __mptr = (ptr); \ (type *)((char *)__mptr - ((unsigned long) &((type *)0)->member)原创 2016-07-15 08:16:45 · 1103 阅读 · 0 评论 -
分布式存储和一致性哈希
1、什么是一致性哈希在动态变化的cache环境中,哈希算法应满足4个适应条件:均衡性:哈希的结果能够尽可能分布到所有的缓存中去单调性:当缓冲区大小变化时一致性哈希尽量保护已分配的内容不会被重新映射到新缓冲区分散性:在分布式环境中,终端有可能看不到所有的缓冲,而是只能看到其中的一部分。当终端希望通过哈希过程将内容映射到缓冲上时,由于不同终端所见的缓冲范围有可能不同,从而导致哈希的结果原创 2016-06-14 07:52:09 · 3688 阅读 · 0 评论 -
CAP和BASE理论
几个名词解释:网络分区:俗称“脑裂”。当网络发生异常情况,导致分布式系统中部分节点之间的网络延时不断变大,最终导致组成分布式系统的所有节点中,只有部分节点之间能够进行正常通信,而另一些节点则不能。当网络分区出现时,分布式系统会出现局部小集群。三态:分布式系统的每一次请求和响应包含:成功,失败,超时三种状态。CAPCAP理论,指的是在一个分布式系统中,不可能同时满足Con原创 2016-06-16 07:47:18 · 5561 阅读 · 0 评论 -
通过实例来理解paxos算法
paxos算法背景 Paxos算法是莱斯利·兰伯特(Leslie Lamport,就是 LaTeX 中的”La”,此人现在在微软研究院)于1990年提出的一种基于消息传递的一致性算法。由于算法难以理解起初并没有引起人们的重视,使Lamport在八年后重新发表到TOCS上[2]。即便如此paxos算法还是没有得到重视,2001年Lamport用可读性比较强的叙述性语言给出算法描述[3]。可见Lamp原创 2016-06-19 16:54:33 · 11775 阅读 · 4 评论 -
inode理解
一、inode是什么? 理解inode,要从文件储存说起。文件储存在硬盘上,硬盘的最小存储单位叫做”扇区”(Sector)。每个扇区储存512字节(相当于0.5KB)。 操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个”块”(block)。这种由多个扇区组成的”块”,是文件存取的最小单位。”块”的大小,最常见的是4KB,即连续八个 sect转载 2016-06-27 07:58:34 · 4432 阅读 · 0 评论 -
Buffer cache和page cache的区别
Page cache和buffer cache到底有什么区别呢1?很多时候我们不知道系统在做IO操作的时候到底是走了page cache还是buffer cache?其实,buffer cache和page cache是Linux中两个比较简单的概念,在此对其总结说明。 Page cache是vfs文件系统层的cache.例如 对于一个ext3文件系统而言,每个文件都会有一棵radix树管理文件转载 2016-06-28 08:04:49 · 1591 阅读 · 1 评论 -
一些存储基本概念
存储基础知识存储基础知识存储技术存储方式iSCSI协议scale up 和 scale outwrite back和write throughRAIDRAID 5 和 RAID 10 对比LUN的概念块设备buffer_headbio存储技术网络存储设备根据存储技术的不同,主要分为三类:DAS(Direct Attached Storage)、NAS(Network Attac原创 2016-09-07 08:25:04 · 5502 阅读 · 0 评论 -
认识SSD
认识SSD认识SSD定义FLASH颗粒定义和分类SLC和MLCSSD的内部逻辑划分SSD的表项管理垃圾回收SSD的磨损均衡SSD使用寿命计算举例未完待续,先上班去了……定义固态硬盘(Solid State Disk)用固态电子存储芯片阵列而制成的硬盘,由控制单元和存储单元(FLASH芯片、DRAM芯片)组成。 一块SSD,核心部件是一颗控制器和多颗Flash颗粒,一般还会有一些原创 2016-09-18 08:26:16 · 4748 阅读 · 1 评论