FastDFS
FastDFS
yaoshengting
这个作者很懒,什么都没留下…
展开
-
FastDFS文件名策略及对小文件的优化
文章摘自http://os.51cto.com/art/201210/359378.htm2012-10-09 16:37 wishfly csdn博客 字号:T | TFastDFS是一个应用级分布式文件存储服务,其采用中心型结构(类似GFS、HDFS、TFS等),主要用于大中型网站存储资源文件。FastDFS具有轻量级,支持高并发放访问,负载均衡,可扩展转载 2015-09-11 09:01:31 · 511 阅读 · 0 评论 -
ChinaUnix中fastdfs论坛资料之FastDFS FAQ
定位问题首先要看日志文件。出现问题时,先检查返回的错误号和错误信息。然后查看服务器端日志,相信可以定位到问题所在。1. FastDFS适用的场景以及不适用的场景?FastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片、视频、文档等文件。对于互联网应用,和其他分布式文件系统相比,优势非常明显。具体情况大家可以看相关的介绍文档,包括FastDFS介绍PPT等转载 2015-12-22 16:28:48 · 1981 阅读 · 0 评论 -
FastDFS的配置、部署与API使用解读(1)Get Started with FastDFS
摘自:http://blog.csdn.net/poechant/article/details/6977407转载请注明来自:诗商·柳惊鸿CSDN博客,原文链接:FastDFS的配置、部署与API使用解读(1)入门使用教程1、背景FastDFS是一款开源的、分布式文件系统(Distributed File System),由淘宝开发平台部资深架构师余庆转载 2015-12-23 14:04:10 · 439 阅读 · 0 评论 -
FastDFS的配置、部署与API使用解读(2)以字节方式上传文件的客户端代码
本文来自 诗商·柳惊鸿 Poechant CSDN博客,转载请注明源地址:FastDFS的配置、部署与API使用解读(2)上传文件到FastDFS分布式文件系统的客户端代码在阅读本文之前,请您先通过《FastDFS的配置、部署与API使用解读(1)Get Started with FastDFS》一文中给出的参考博文中的部署篇和测试篇来完成前期的准备工作。1、下载F转载 2015-12-23 14:40:31 · 533 阅读 · 0 评论 -
FastDFS的配置、部署与API使用解读(4)FastDFS配置详解之Client配置
一种方式是通过调用ClientGlobal类的初始化方法对配置文件进行加载,另一种是通过调用API逐一设置配置参数。后一种方式对于使用Zookeeper等加载属性的方式很方便。1. 加载配置文件:[java] view plaincopyprint?String configFileName = "conf/dfs-cli转载 2015-12-23 14:41:37 · 611 阅读 · 0 评论 -
FastDFS的配置、部署与API使用解读(7)Nginx的FastDFS模块
转载请注明来自“诗商·柳惊鸿 Poechant 的CSDN博客”。原文地址:FastDFS的配置、部署与API使用解读(7)Nginx的FastDFS模块1、Nginx的FastDFS模块什么作用?我们在使用FastDFS部署一个分布式文件系统的时候,通过FastDFS的客户端API来进行文件的上传、下载、删除等操作。同时通过FastDFS的HTTP服务器来提供转载 2015-12-23 14:53:18 · 463 阅读 · 0 评论 -
FastDFS的配置、部署与API使用解读(8)FastDFS多种文件上传接口详解
1、StorageClient与StorageClient1的区别相信使用happy_fish的FastDFS的童鞋们,一定都熟悉StorageClient了,或者你熟悉的是StorageClient1,两者有什么区别呢?我们在前面的几篇博文中已经知道,FastDFS存储文件时,是将FastDFS存储到某个Group的某个Storage的某个路径下。如果你在Storage Serv转载 2015-12-23 14:54:21 · 2086 阅读 · 0 评论 -
[FastDFS] 文件路径M00是什么意思
源地址:http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=1935018&highlight=问下斑竹“Mxx:xx为十六进制字符,表示存放的基路径(base path)序号。如果存放的base path只有一个,那固定就是M00”为什么特别设置了这个基路径呢有什么用途呢回复 1# l转载 2016-01-11 12:03:35 · 7845 阅读 · 3 评论 -
[FastDFS] 关于FastDFS的一点问题
源地址:我们的系统准备采用FastDFS做分布式文件管理系统,但是有几个问题希望得到happy_fish100 明确的答复。在大数据量增长的情况下,基于log的系统能否抵挡一天5g的图片增量?当整个系统中的文件数量或者文件容量增加到多少时,性能会有折扣?折扣是多少?多台机器之间的同步速率是多少?一张3mb的图片,大概在多长范围内能同步到各服务器(服务器数转载 2016-01-11 12:06:38 · 3082 阅读 · 1 评论 -
fastdfs中的数据迁移
源地址连接:http://bbs.chinaunix.net/thread-3650691-1-1.html问:目前有2台服务器 trackerserver+storage 和 storage ,需要迁移到2台新的服务器环境 如何迁移fastdfs中的数据?和需要注意的要点答:升级原有系统到v3.05,然后将新机器挂到原有集群下,作为已有group新的sto转载 2016-01-11 12:01:11 · 4472 阅读 · 0 评论 -
FastDFS安装完之后可执行文件和配置文件路径
FastDFS可执行文件路径如下图: FastDFS配置文件路径如下图:原创 2016-01-15 12:08:29 · 2025 阅读 · 0 评论 -
[FastDFS] tracker报错, ERROR - file: tracker_nio.c, line: 214, recv timeout
问:[2011-08-02 14:58:59] ERROR - file: tracker_nio.c, line: 214, client ip: 10.1.40.51, recv timeout, recv offset: 0, expect length: 0看上去貌似没什么影响, storage偶尔也会报[2011-08-02 11:37:40] ERROR -转载 2016-02-25 09:42:07 · 18602 阅读 · 2 评论 -
分布式存储系统FastDFS系统服务器端目录结构
服务器端目录结构FastDFS服务器端运行时目录结构如下:${base_path} |__data:存放数据文件 |__logs:存放日志文件其中,${base_path}由配置文件中的参数“base_path”设定。tracker server结构tracker server目录及文件结构:${base_path} |__data转载 2016-02-25 14:12:22 · 2218 阅读 · 0 评论 -
Nginx+fastDFS-nginx-module+FastDFS配置分布式文件系统
简介FastDFS是一个开源的轻量级的分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。一、安装前准备1.系统原创 2015-09-14 14:49:07 · 6803 阅读 · 0 评论 -
分布式文件系统FastDFS设计原理
FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB Storage serverStorage server(后简称storage)以组(卷,group或volume)为单转载 2016-03-15 15:14:40 · 480 阅读 · 0 评论 -
FastDFS集群整体迁移的问题
这是自己在FastDfs技术群里关于集群整体迁移讨论的聊天记录0.618(873085561) 11:10:34有做过fastdfs文件服务器数据迁移的吗??龙(263209498) 11:11:08FastDFS集群整体迁移的问题。如果新旧IP地址一一对应,而且是一样的,那非常简单,直接将data目录拷贝过去即可。IP不一样的话,会比较麻烦一些。原创 2015-12-22 15:53:50 · 6923 阅读 · 3 评论 -
ChinaUnix中fastdfs论坛资料之FastDFS一个高效的分布式文件系统
fastdfs开源架构版本在ChinaUnix网站中的链接地址,版主就是fastdfs的作者http://bbs.chinaunix.net/forum-240-8.htmlFastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。存储节点存储文件,完成文件管理的所有功能:存储、同步和提供存取接转载 2015-12-22 15:13:19 · 1056 阅读 · 0 评论 -
Fastdfs安装前准备组件安装
一、 gcc+安装1.1 由于fastdsf是用c语言实现的,编译时需要gcc命令,检查系统是否安装了gcc,检查命令:gcc -v1.2 安装命令:cd /usr/local/src/rpm -i libstdc++-devel-4.4.7-3.el6.i686.rpmrpm -i gcc-c++-4.4.7-3.el6.i原创 2015-09-23 15:54:02 · 577 阅读 · 0 评论 -
FastDFS 5.01配置文件storage.conf
# 该配置文件是否生效# is this config file disabled# false for enabled# true for disableddisabled=false# 本storage server所属组名# the name of the group this storage server belongs togroup_name=group1# bin原创 2015-09-11 14:18:17 · 1495 阅读 · 0 评论 -
分布式文件系统FastDFS原理介绍
文章转自:http://os.51cto.com/art/201210/359380.htmFastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件(建议范围:4KB AD:什么是FastDFS?FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特转载 2015-08-17 16:46:25 · 625 阅读 · 0 评论 -
FastDFS 使用经验分享
摘自http://www.ttlsa.com/fastdfs/fastdfs-experience-sharing/经验一:FastDFS文件下载恢复原始文件名应用背景文件被上传到FastDFS后Storage服务端将返回的文件索引(FID),其中文件名是根据FastDFS自定义规则重新生成的,而不是原始文件名,例如: group2/M00/00/89/eQ6h3F转载 2015-09-11 16:51:24 · 1122 阅读 · 0 评论 -
FastDFS5.01配置文件tracker.conf
# is this config file disabled# false for enabled# true for disabled#该配置文件是否生效disabled=false# bind an address of this host# empty for bind all addresses of this host# 绑定IP# 后面为绑定的I原创 2015-09-11 13:28:59 · 1690 阅读 · 0 评论 -
分布式文件系统FastDFS架构剖析
文章转自:http://os.51cto.com/art/201205/335144_all.htmFastDFS是一款类GoogleFS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,GoogleFS以及FastDFS、mogileFS转载 2015-08-17 16:58:34 · 783 阅读 · 0 评论 -
nginx+FastDFS+fastdfs-nginx-module配置分布式文件存储
转载自http://www.jb51.net/article/25695.htm环境:storage1:192.168.6.100storage2:192.168.6.101tracker:192.168.6.1021. 在每个机器上,下载安装 FastDFSnginx $> wget http://fastdfs.googlecode.com/files/Fast转载 2015-09-11 16:42:53 · 1548 阅读 · 0 评论 -
FastDFS原理系列文章
摘自:http://blog.csdn.net/hfty290/article/details/42076205FastDFS原理系列文章 基于FastDFS 5.03/5.042014-12-19 一、概述 FastDFS文档极少,只能找到一些宽泛的架构文档,以及ChinaUnix论坛上作者对网友提问的转载 2015-10-29 14:18:40 · 493 阅读 · 0 评论 -
FastDFS分布文件系统
摘自:http://elf8848.iteye.com/blog/1739596FastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片、视频、文档等文件。对于互联网应用,和其他分布式文件系统相比,优势非常明显。具体情况大家可以看相关的介绍文档,包括FastDFS介绍PPT等等。出于简洁考虑,FastDFS没有对文件做分块存储,因此不太适合分布式计算场转载 2015-10-29 11:27:29 · 528 阅读 · 0 评论 -
在ChinaUnix的fastdfs论坛上整理的关于FastDfs问题及回答
问题的回答基本都是fastdfs作者本人余庆,在chinaunix上的名字是happy_fish100问的问题有的是时间比较早的,不一定适合后来的版本,需要的时候还是根据自己的版本实践下 ,问一下tracker storage client之间的通讯是基于socket的吧,没有用rpc吧。对这个不太了解,问一下,这个用socket好些还是rpc好些,gfs用的是什么呢。使用r原创 2015-12-23 08:54:26 · 3025 阅读 · 0 评论 -
fastdfs上传文件只有文件服务器上该文件同路径下多一个-m的文件
fastdfs上传文件只有文件服务器上该文件同路径下多一个-m的文件,如下图该-m文件是元数据文件,存储上传文件时带的参数,如下图中的NameValuePair[]数组原创 2015-12-29 16:46:52 · 6317 阅读 · 0 评论 -
nginx 使用fastdfs-nginx-module 比直接使用nginx的优势在哪
FastDFS通过Tracker服务器,将文件放在Storage服务器存储,但是同组之间的服务器需要复制文件,有延迟的问题.假设Tracker服务器将文件上传到了192.168.1.80,文件ID已经返回客户端,这时,后台会将这个文件复制到192.168.1.30,如果复制没有完成,客户端就用这个ID在192.168.1.30取文件,肯定会出现错误。 这个fastdfs-ngi转载 2015-12-30 10:04:17 · 1477 阅读 · 0 评论 -
nginx扩展模块,不能正常显示FastDfs上传的图片问题
在配置文件/etc/fdfs/mod_fastdfs.conf中,缺省的设置是这样的:http.need_find_content_type=false这个参数在nginx中需要设置为true,apache中应该设置为false转载 2015-12-23 15:01:37 · 5886 阅读 · 3 评论 -
浅析FastDFS及所遇问题集锦
摘自:http://os.51cto.com/art/201210/359876.htmFastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片、视频、文档等文件。对于互联网应用,和其他分布式文件系统相比,优势非常明显。但是在使用过程中,也会遇到一些问题,一起来看看。AD:【线下活动】三大新锐HTML 5企业汇聚51CTO—大话移动前端技术转载 2015-10-29 14:22:09 · 2303 阅读 · 0 评论 -
FastDFS的作者介绍的防盗链 使用FastDFS的内置防盗链功能
FastDFS内置防盗链采用Token的方式。token是带时效的,包含了文件ID、时间戳ts和密钥。在设定的时间范围内,比如5分钟内,token是有效的。FastDFS在URL中带上当前时间戳和带时效的token,参数名分别为ts和token。FastDFS API中提供了生成token的算法,扩展模块中会对token进行检验。token的生成和检验都在服务器端,因此不会转载 2017-11-06 11:06:41 · 5669 阅读 · 0 评论