FastDFS简介

最新推荐文章于 2021-04-09 19:01:11 发布
最新推荐文章于 2021-04-09 19:01:11 发布
阅读量289 收藏
点赞数
分类专栏： 分布式 文章标签： FastDFS简介
原文链接：https://segmentfault.com/a/1190000017254013
版权

1提出问题

在目前的互联网应用中，服务器上会存储大量的用户上传的文件。例如：电商网站会存储大量商品图片，用户评论图片。这类文件会随着用户数量的增加、商品数量的增加以及评论数据的增加而持续增长。那么这些海量的持续增加的文件该如何保存呢？

①最初级的方式
在Web应用根目录下创建一个专门存储图片的目录。这样做会有三个问题
[1]如果文件体积不断增长，那么很可能把硬盘撑爆。
[2]Web应用重新部署后会导致用户文件目录被清空。
[3]集群模式下，必须保证多个应用服务器之间数据同步。

②增加硬盘
一块硬盘不够，可以在服务器上再增加硬盘，但毕竟服务器上能够挂载的硬盘数量是有限的。

③增加服务器
服务器的数量理论上是没有限制的，但是每一台服务器都有自己的IP地址，会导致文件上传后，下载文件的代码中需要考虑不同文件用不同IP地址去访问，非常麻烦。

所以我们需要这样一种服务器：
①上传下载的IP地址固定不变
②扩容简单，且扩容不会导致访问地址变化，也就是说相关的Java代码不需要根据扩容情况修改
③稳定高效，无单点故障

2FastDFS

2.1简介
FastDFS是一款类Google FS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等系统。

FastDFS是为互联网应用量身定做的分布式文件系统，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标。和现有的类GoogleFS分布式文件系统相比，FastDFS的架构和设计理念有其独到之处，主要体现在轻量级、分组方式和对等结构三个方面。

FastDFS可以到GitHub上下载源码。
https://github.com/happyfish1…

2.2FastDFS基本架构
①Storage存储服务器
实际存储文件的专门服务器。整个集群下划分为多个组，每一个组中可以有多台具体存储服务器。同组的服务器靠同步线程确保内容一致。同组多台服务器之间没有主备之分，轮换提供服务，以此来保证不会发生单点故障。由于组内各服务器保存的数据一致，所以一个组的存储容量等于组内容量最小的服务器，故而建议使用相同配置的服务器作为Storage。
②Tracker追踪服务器
Tracker负责监控Storage的存储状态。Storage会按照一定的时间间隔不断的向Tracker汇报自己的健康状态、剩余容量、繁忙程度等等。Tracker据此选择健康状态好、剩余容量大、繁忙程度低的Storage处理用户请求。

在这里插入图片描述

3FastDFS主要工作流程

3.1文件上传流程
在这里插入图片描述

3.2文件下载流程
在这里插入图片描述

3.3文件删除流程

在这里插入图片描述

4最后

FastDFS是一款开源的轻量级分布式文件系统，纯C实现，支持Linux, FreeBSD等UNIX系统，类google FS, 不是通用的文件系统，只能够通过专有API访问，目前提供了C，Java和PHP API
为互联网应用量身定做，解决大容量文件存储问题，追求高性能和高扩展性
FastDFS可以看做是基于文件的key-value存储系统，称为分布式文件存储服务更为合适

内容转自 https://segmentfault.com/a/1190000017254013

黄宝康
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Fastdfs简介
04-13
介绍了Fastdfs，讲解了物流结构、部署方式等。
FastDFS简介及搭建.docx
08-05
【FastDFS简介】 FastDFS是一款由C语言编写的开源分布式文件系统，专为互联网环境设计。它具有高可用性、高性能、线性扩容等特点，能够方便地构建一套高性能的文件服务器集群，提供文件上传和下载服务。FastDFS考虑...
fastDFS简介
调皮的写代码
07-15 1038
一、fastDFS简介 FastDFS 是一个开源的轻量级高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。 FastDFS 系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Stora...
FastDFS 简介
weixin_45103228的博客
04-09 500
FastDFS概述 阿里巴巴开源的一套轻量级,天生就是分布式设计的文件系统 FastDFS的源代码由C语言开发，目前可运行在Linux,FreeBSD，Unix等类操作系统上 FastDFS解决了大数据量文件存储 适合存储4KB~500MB之间的小文件，如图片网站、短视频网站、文档、app下载站等。 FastDFS主要特性 为互联网量身定制，海量数据文件存储 高可用(同组备份机制) FastDFS不是通用的文件系统，只能通过api来访问，目前提供c,java,php客户端。phtyon由第三方开发者提
fastdfs简介
Java高知社区
10-09 3789
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。 存储节点存储
fastdfs 简介
05-17 139
fastdfs 简介 http://ylw6006.blog.51cto.com/470441/948729/ 转载于:https://www.cnblogs.com/TendToBigData/p/10501463.html
Java操作FastDFS
01-20
1. **FastDFS简介** - FastDFS设计目标是为互联网应用提供可扩展的高性能文件存储服务。 - 它主要由两部分组成：跟踪服务器（Tracker Server）和存储服务器（Storage Server）。 - 跟踪服务器负责调度和负载均衡...
fastDFS-1.27
10-22
1. **FastDFS简介** FastDFS提供文件存储、文件同步、文件访问（文件上传、文件下载）等功能，特别适合以文件为载体的在线服务。它具有高可用性、负载均衡、支持高并发读写、小文件存储优化等特点，能够有效解决大...
FastDFS.zip
06-08
**FastDFS简介** FastDFS是一个轻量级的分布式文件系统，设计用于互联网场景下的大容量存储。它主要解决的是海量数据存储问题，支持文件的上传、下载等基本操作，并且具有高可用性、高扩展性、低延迟、负载均衡等...
pi_heif-0.17.0-cp310-cp310-manylinux_2_17_aarch64.whl
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
Numper基础（一）
07-27
Numper基础（一）
C语言写的潮流计算大作业代码.zip
07-27
c写的潮流计算大作业代码.zipc写的潮流计算大作业代码.zipc写的潮流计算大作业代码.zip
关于大模型的教程、调用和使用技巧的资源，帮助更多人高效地认知和使用大模型.docx
07-27
大模型（Large Models），尤其是指预训练的大规模语言模型，在自然语言处理（NLP）、计算机视觉（CV）等领域取得了显著的进步。以下是一些关于大模型的教程、调用和使用技巧的资源，帮助更多人高效地认知和使用大模型： 1. 大模型教程资源 官方文档： 大多数大型模型都会在其官方网站或GitHub页面上发布详细的文档，包括模型介绍、安装指南、使用示例等。 例如，Hugging Face的Transformers库提供了丰富的文档和教程。 在线课程： Coursera、edX等在线教育平台上提供了关于大模型的课程。 例如，斯坦福大学的NLP课程通常会涵盖最新的大模型技术。 博客文章： Medium、Towards Data Science等平台上有很多关于大模型的文章，这些文章通常由专业人士撰写，包含实战经验和技巧。 视频教程： B站（bilibili.com）和YouTube上有很多关于大模型的教程视频，适合初学者入门。 2. 调用API和使用技巧 Hugging Face Transformers： 提供了多种预训练模型的加载和调用方式。 Hugging Face文档 是一个非常
pi_heif-0.17.0-cp39-cp39-macosx_14_0_arm64.whl
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
微麦电影购票小程序，分为三部分-小程序端-商家（影院）后台与官方后台.zip
07-27
微麦电影购票小程序，分为三部分-小程序端-商家（影院）后台与官方后台.zip
[毕设]酒店管理系统PPT与源码展示.zip
07-27
[毕设]酒店管理系统PPT与源码展示
企业数字化运营管理总体规划方案
最新发布
07-27
本资料围绕总体信息化规划方案、智慧运营系统建设规划方案、阶段性建设方案等方面阐述企业数字化运营管理总体规划方案。
MATLAB hough变换答题卡识别（GUI，配论文）.zip
07-27
MATLAB hough变换答题卡识别（GUI，配论文）.zip
FastDFS详解：搭建、优化与实战指南
FastDFS简介** FastDFS的核心是Tracker和Storage，Tracker负责存储文件元数据，如文件名、路径、存储节点信息等，并协调数据一致性，接受并处理客户端的上传和下载请求。Storage则是实际的文件存储节点，它将文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值