存储
文章平均质量分 93
xiaofei0859
这个作者很懒,什么都没留下…
展开
-
分布式系统CAP理论
CAP理论在互联网界有着广泛的知名度,知识稍微宽泛一点的工程师都会把其作为衡量系统设计的准则。大家都非常清楚地理解了CAP:任何分布式系统在可用性、一致性、分区容错性方面,不能兼得,最多只能得其二,因此,任何分布式系统的设计只是在三者中的不同取舍而已。事实上,让人吃惊的是,CAP在国外的响力完全不如所想,相反还伴随着诸多的争论。下面我们系统地阐述一下CAP的来龙去脉。1.CAP的历史1转载 2016-12-09 15:14:46 · 2086 阅读 · 0 评论 -
mmap和direct io和write和fwrite区别
看完此文,题目不言自明。转自 http://blog.chinaunix.net/uid-27105712-id-3270102.html在Linux 开发中,有几个关系到性能的东西,技术人员非常关注:进程,CPU,MEM,网络IO,磁盘IO。本篇文件打算详细全面,深入浅出。剖析文件IO的细节。从多个角度探索如何提高IO性能。本文尽量用通俗易懂的视角去阐述。不copy内核代码。转载 2017-07-07 14:07:05 · 1603 阅读 · 2 评论 -
read/fread write/fwrite 的实现原理
fread就是通过read来实现的,fread是C语言的库,而read是系统调用。差别在read每次读的数据是调用者要求的大小,比如调用者要求读取10个字节数据,read就会从内核缓冲区(操作系统开辟的一段空间用来存储磁盘上的数据)读10个字节数据到数组中,所以每次调用read会涉及到用户态与內核态之间的切换从而损耗一定的性能。而fread不一样,为了加快读的速度,fread每次都会从内核缓冲转载 2017-07-07 14:24:41 · 3791 阅读 · 0 评论 -
分布式存储系统可靠性如何估算
常规情况下,我们一般使用多副本技术来提高存储系统的可靠性,无论是结构化数据库存储 (如典型的 mysql)、文档型 Nosql 数据库存储 (mongodb ) 或者是常规的 blob 存储系统 (GFS、Hadoop) 等,无不如此。因为数据几乎可以称得上是企业生命力的核心,保障数据存储系统的可靠性对于任何企业来说都不是一件小事。那么,如何较为准确地去衡量集群数据的可靠性?如何进转载 2017-07-06 10:15:20 · 695 阅读 · 0 评论 -
Linux Page Cache的工作原理
1 、前言 自从诞生以来,Linux 就被不断完善和普及,目前它已经成为主流通用操作系统之一,使用得非常广泛,它与Windows 、UNIX 一起占据了操作系统领域几乎所有的市场份额。特别是在高性能计算领域,Linux 已经成为一个占主导地位的操作系统,在2005年6月全球TOP500 计算机中,有 301 台部署的是 Linux 操作系统。因此,研究和使用 Linux 已经成为开发转载 2017-07-14 14:42:38 · 6568 阅读 · 0 评论 -
Hadoop文件放置策略及数据倾斜的balance方法
转自:http://www.cnblogs.com/zhanghuijunjava/archive/2013/04/22/Hadoop-block_hdfs.html?utm_source=tuicoolhttp://www.cnblogs.com/Richardzhu/p/3623323.htmlhadoop文件放置1:什么是HDF转载 2017-06-22 14:54:18 · 449 阅读 · 0 评论 -
FastDFS 分布式系统需求分析
FastDFS是一款开源的轻量级分布式文件系统、纯C实现,支持Linux, FreeBSD等UNIX系统类google FS, 不是通用的文件系统,只能够通过专有API访问,目前提供了C,Java和PHP API为互联网应用量身定做,解决大容量文件存储问题,追求高性能和高扩展性。FastDFS可以看做是基于文件的key-value存储系统,称为分布式文件存储服务更为合适。FastDFS转载 2017-04-11 23:32:44 · 747 阅读 · 0 评论 -
大量小文件的存储场景,有什么优化办法
可以参考Google的GFS以及变种HDFS、淘宝TFS以及腾讯TencentFS的设计。这些都是处理大量小文件的典范。大家知道传统的文件系统下,每个文件都要被创建对应的inode之类元数据,但是在海量文件场景下,传统FS已经无法承载如此多的元数据IO量以及如此庞大的元数据搜索计算量了,唯一的做法就是降低元数据量,那么势必就要降低文件实体的数量,所以这些文件系统无一例外的都是用了这样一种变通的转载 2017-04-11 22:48:45 · 5108 阅读 · 0 评论 -
小文件合并存储问题
LOSF(lots of small files)问题是很多互联网企业都会遇到的, 文本、图片、音乐是典型的小文件应用场景,比如58同城、淘宝网、虾米网、汽车之家等网站都是有海量小文件存储需求的。小文件存储问题集中表现在如下几个方面:1. 小文件太多,单机无法存储 2. 小文件的存取性能 3. 小文件的高效备份与恢复对于问题1,主要是借助分布式技术来解决,单机存储不了,就将数据转载 2017-04-11 22:35:58 · 2536 阅读 · 0 评论 -
分布式文件系统MFS、Ceph、GlusterFS、Lustre的比较
存储MooseFS(MFS)CephGlusterFSLustreMetadata server单个MDS。存在单点故障和瓶颈。多个MDS,不存在单点故障和瓶颈。MDS可以扩展,不存在瓶颈。无,不存在单点故障。靠运行在各个节点上的动态算法来代替MDS,不需同步元数据,无硬盘I/O瓶颈。转载 2016-12-06 10:42:30 · 1120 阅读 · 1 评论 -
分布式文件系统,独立mds与无独立mds优缺点比较
文件系统中metadata是一个关键元素,每一个分布式文件系统的核心所在就是mds的设计。类似HDFS,Clustre,FastDFS等等分布式文件系统采用的是独立的mds架构,Ceph采用的是讲mds也分布开的设计架构,Gluster的设计是将metadata跟数据文件结合方式来存储,基本上只存跟本地文件有关的metadata消息。下面将Gluster作为无独立mds的代转载 2016-12-06 10:32:07 · 2625 阅读 · 0 评论 -
存储系统的那些事
存储系统从其与生俱来的使命来说,就难以摆脱复杂系统的魔咒。无论是从单机时代的文件系统,还是后来C/S或B/S结构下数据库这样的存储中间件兴起,还是如今炙手可热的云存储服务来说,存储都很复杂,而且是越来越复杂。存储为什么会复杂,要从什么是存储谈起。存储这个词非常平凡,存储 + 计算(操作)就构成了一个朴素的计算机模型。简单来说,存储就是负责维持计算系统的状态的单元。从维持状态的角度,我们会有最朴转载 2017-08-31 21:22:45 · 286 阅读 · 0 评论