fastdfs分布式文件系统
xiaofei0859
这个作者很懒,什么都没留下…
展开
-
FastDFS之磁盘恢复过程
FastDFS之磁盘恢复过程 基于FastDFS 5.03/5.042014-12-19 一、磁盘恢复概述 顾名思义,磁盘恢复也就是一台服务器的某个磁盘坏掉,换了一个新的硬盘,然后将旧磁盘本应该有的数据拷贝到新硬盘的过程。FastDFS原生支持该过程,可以自动检测,并完成。FastDFS推荐的方式是一个磁盘挂载成一个Store-转载 2015-06-12 15:08:50 · 2413 阅读 · 0 评论 -
FastDFS压力测试
使用FastDFS安装包中自带的工具进行测试,该工具是开源代码工具,可以根据自身情况进行修改。测试步骤:自带的工具是没有编译过的源码,需要进行编译生成测试脚本首先解压FastDFS安装包tar zxvf FastDFS_v5.03.tar.gz进入测试脚本目录cd FastDFS/test编译make make insta转载 2016-10-13 18:32:23 · 3613 阅读 · 0 评论 -
FastDFS性能测试
FastDFS简介fastdfs是一个开源的,高性能的的分布式文件系统,他主要的功能包括:文件存储,同步和访问,设计基于高可用和负载均衡,fastfd非常适用于基于文件服务的站点,例如图片分享和视频分享网站。fastfds有两个角色:跟踪服务(tracker)和存储服务(storage),跟踪服务控制,调度文件以负载均衡的方式访问;存储服务包括:文件存储,文件同步,提供文件访问接口转载 2016-10-14 16:13:02 · 6736 阅读 · 0 评论 -
FastDFS之Tracker-Leader选择和tracker server间通信
FastDFS之Tracker-Leader选择 基于FastDFS 5.03/5.04 一、Tracker-Leader概述在FastDFS之中,可以任意配置多个Tracker,在运行过程中会选择其中一个作为Leader,由该Leader执行一些唯一性的操作。在早期版本中Tracker-Leader有两个作用,分别是:为新加入的Storage分配一转载 2015-06-12 15:11:22 · 2725 阅读 · 0 评论 -
FastDFS特性及问题思考
FastDFS是国人开发的一款分布式文件系统,目前社区比较活跃。系统中存在三种节点:Client、Tracker、Storage,在底层存储上通过逻辑的分组概念,使得通过在同组内配置多个Storage,从而实现软RAID10,提升简单负载均衡、并发IO的性能、及数据的冗余备份;同时通过线性的添加新的逻辑存储组,从容实现存储容量的线性扩容。 文件下载上,除了支持通过API方式,目前还提转载 2016-10-20 16:53:15 · 984 阅读 · 0 评论 -
分布式文件系统 FastDFS
FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。存储节点存储文件,完成文件管理的所转载 2016-10-20 17:37:46 · 398 阅读 · 0 评论 -
gfs和hdfs文件系统的区别
转载:http://blog.csdn.net/mindfloating/article/details/49103611我们知道 HDFS 最早是根据 GFS(Google File System)的论文概念模型来设计实现的。 然后呢,我就去把 GFS 的原始论文找出来仔细看了遍,GFS 的整体架构图如下: HDFS 参照了它所以大部分架构设计概念是类似的,比如 HDFS转载 2016-12-05 15:45:01 · 26992 阅读 · 1 评论 -
HDFS架构设计
转载:http://blog.csdn.net/mindfloating/article/details/47842495本文以 Hadoop 提供的分布式文件系统(HDFS)为例来进一步展开解析分布式存储服务架构设计的要点。架构目标任何一种软件框架或服务都是为了解决特定问题而产生的。还记得我们在 《分布式存储 - 概述》一文中描述的几个关注方面么?分布式文件系统属于分布式转载 2016-12-05 15:50:23 · 331 阅读 · 0 评论 -
小文件合并存储问题
LOSF(lots of small files)问题是很多互联网企业都会遇到的, 文本、图片、音乐是典型的小文件应用场景,比如58同城、淘宝网、虾米网、汽车之家等网站都是有海量小文件存储需求的。小文件存储问题集中表现在如下几个方面:1. 小文件太多,单机无法存储 2. 小文件的存取性能 3. 小文件的高效备份与恢复对于问题1,主要是借助分布式技术来解决,单机存储不了,就将数据转载 2017-04-11 22:35:58 · 2538 阅读 · 0 评论 -
大量小文件的存储场景,有什么优化办法
可以参考Google的GFS以及变种HDFS、淘宝TFS以及腾讯TencentFS的设计。这些都是处理大量小文件的典范。大家知道传统的文件系统下,每个文件都要被创建对应的inode之类元数据,但是在海量文件场景下,传统FS已经无法承载如此多的元数据IO量以及如此庞大的元数据搜索计算量了,唯一的做法就是降低元数据量,那么势必就要降低文件实体的数量,所以这些文件系统无一例外的都是用了这样一种变通的转载 2017-04-11 22:48:45 · 5114 阅读 · 0 评论 -
FastDFS 分布式系统需求分析
FastDFS是一款开源的轻量级分布式文件系统、纯C实现,支持Linux, FreeBSD等UNIX系统类google FS, 不是通用的文件系统,只能够通过专有API访问,目前提供了C,Java和PHP API为互联网应用量身定做,解决大容量文件存储问题,追求高性能和高扩展性。FastDFS可以看做是基于文件的key-value存储系统,称为分布式文件存储服务更为合适。FastDFS转载 2017-04-11 23:32:44 · 749 阅读 · 0 评论 -
fastdfs-nginx扩展模块源码分析
1. 背景在大多数业务场景中,往往需要为FastDFS存储的文件提供http下载服务,而尽管FastDFS在其storage及tracker都内置了http服务, 但性能表现却不尽如人意;作者余庆在后来的版本中增加了基于当前主流web服务器的扩展模块(包括nginx/apache),其用意在于利用web服务器直接对本机storage数据文件提供http服务,以提高文件下载的性能。2转载 2016-05-19 14:11:37 · 503 阅读 · 0 评论 -
搭建FastDFS分布式存储环境(使用Nginx模块)
原文地址:搭建FastDFS分布式存储环境(使用Nginx模块) 作者:壹頁書上次搭建FastDFS使用的版本是v4.05http://blog.itpub.net/29254281/viewspace-1283539/这个版本已经比较旧了最新的版本是v5.04,由于作者重构了代码,所以安装过程还是有一些不一致.最新版本下载地址:http://sourc转载 2016-05-18 10:47:55 · 2372 阅读 · 0 评论 -
FastDFS之Storage程序框架
FastDFS之Storage程序框架 基于FastDFS 5.03/5.042014-12-19 一、概述 FastDFS分布式文件系统中有Tracker和Storage两个角色,其中绝大多数功能都是在Storage中实现,包括网络处理、文件上传、下载、同步、磁盘恢复等众多功能,本篇将讲述Storage程序的启动过程,网络处理转载 2015-06-12 15:05:45 · 1171 阅读 · 0 评论 -
FastDFS合并存储原理分析
FastDFS合并存储原理分析基于FastDFS 5.03/5.04 一、合并存储简介 在处理海量小文件问题上,文件系统处理性能会受到显著的影响,在读写次数与吞吐量这两个指标上会有不少的下降。主要需要面对如下几个问题:1)元数据管理低效,磁盘文件系统中,目录项(dentry)、索引节点(inode)和数据(data)保存在存转载 2015-06-12 15:12:17 · 4067 阅读 · 0 评论 -
FastDFS原理系列文章
FastDFS原理系列文章 基于FastDFS 5.03/5.042014-12-19 一、概述 FastDFS文档极少,只能找到一些宽泛的架构文档,以及ChinaUnix论坛上作者对网友提问的一些回答。对于要将FastDFS应用到生产系统来说,这点了解绝对是不够的。 这段时间研究FastDFS源码转载 2015-06-12 15:03:32 · 1906 阅读 · 0 评论 -
FastDFS之合并存储缺陷导致数据丢失或错误
FastDFS之合并存储缺陷导致数据丢失或错误 基于FastDFS 5.03/5.04 一、问题描述 问题的关键在于Trunk-Server上,Trunk-Server实现空间的分配,每一次的空间分配都记录到Trunk-Binlog文件之中,并且定期(每秒)将该文件的更新同步给组内的其他Storage服务器。问题就是若某种情况下Trun转载 2015-06-12 15:10:07 · 4077 阅读 · 0 评论 -
FastDFS之Binlog同步
FastDFS之Binlog同步 基于FastDFS 5.03/5.042014-12-20 一、Binlog同步概述 FastDFS中为了维护文件的多个副本,会在同组的Storage之间互相同步文件,也就是一个备份过程,若一组有三台机器,那么互相备份后,一个文件就有三个副本。本篇将主要描述Binlog同步的相关概念,与同步转载 2015-06-12 15:07:37 · 2667 阅读 · 1 评论 -
FastDFS之添加机器同步
FastDFS之添加机器同步 基于FastDFS 5.03/5.042014-12-19 一、添加机器同步概述 添加机器同步叫做源同步,简单说就是从组内现有的一台机器上推送历史数据到新机器的过程。每次部署集群,源同步是必定要发生的,可能你并没有注意。比如,部署一组三台机器,首次启动第一台机器时是直接添加到组内,而后面的机器都要进转载 2015-06-12 15:06:47 · 3806 阅读 · 0 评论 -
FastDFS之客户端与Tracker通讯
FastDFS之客户端与Tracker通讯 基于FastDFS 5.03/5.042014-12-19 一、概述 客户端大部分的操作过程都是要先查询Tracker,从Tracker返回具体操作的StorageIP,然后连接该StorageIP,执行具体的操作。本篇将主要介绍三种类型的客户端操作:Upload、Download、D转载 2015-06-12 15:04:47 · 2008 阅读 · 1 评论 -
FastDFS 5.04之IO读事件空转导致CPU空转
在与同事测试FastDFS过程中发现CPU有异常波动的情况,八核心CPU在系统使用同时达到%60以上,不免诧异,遂对代码进行排查,发现storage有如下两个问题:1)CPU短暂地飙升2)特定的情况下,可以导致CPU永久飙升,直到停止程序这两个问题都是由于IO读事件空转导致。IO读事件空转也就是epoll触发了一个读事件,调用相应地处理函数,而该处理函数什么事情也不转载 2015-06-12 15:14:49 · 1416 阅读 · 0 评论 -
分布式文件系统FastDFS架构剖析
文/余庆FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,Google FS以及FastDFS、mogileFS、HDFS、TFS等类Google FS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务转载 2015-07-28 14:58:28 · 3216 阅读 · 0 评论 -
FastDFS :提升磁盘IO性能的几个技巧
目前磁盘都是机械方式运作的,主要体现在磁盘读写前寻找磁道的过程。磁盘自带的读写缓存大小,对于磁盘读写速度至关重要。读写速度快的磁盘,通常都带有较大的读写缓存。磁盘的寻道过程是机械方式,决定了其随机读写速度将明显低于顺序读写。在我们做系统设计和实现时,需要考虑到磁盘的这一特性。FastDFS最初的实现,文件是按hash方式随机分布到多个目录中的,后来增加了顺序存放的做法。通过对比测试,发现文件按目录转载 2015-11-11 17:16:06 · 4094 阅读 · 0 评论 -
分布式存储系统可靠性如何估算
常规情况下,我们一般使用多副本技术来提高存储系统的可靠性,无论是结构化数据库存储 (如典型的 mysql)、文档型 Nosql 数据库存储 (mongodb ) 或者是常规的 blob 存储系统 (GFS、Hadoop) 等,无不如此。因为数据几乎可以称得上是企业生命力的核心,保障数据存储系统的可靠性对于任何企业来说都不是一件小事。那么,如何较为准确地去衡量集群数据的可靠性?如何进转载 2017-07-06 10:15:20 · 697 阅读 · 0 评论