分布式环境中文件存储的解决方案-分布式文件系统FastDFS

最新推荐文章于 2024-04-25 17:06:19 发布
最新推荐文章于 2024-04-25 17:06:19 发布
阅读量1k 收藏 3
点赞数 1
分类专栏： 分布式&高并发 文章标签： 分布式 分布式文件系统 fastdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44010763/article/details/119971932
版权

1. 学习FastDFS的原因

  1. 在分布式集群环境下，文件上传至节点A，这时通过负载均衡算法，访问到节点B，则不能访问到文件，这时
    会出现有时能访问有时不能访问的问题。
  2. 同时要考虑为文件做冗余备份、负载均衡、线性扩容等功能，这些都是单节点文件上传所不具备的。



2. FastDFS概念

    FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
    FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。



3. FastDFS架构

    FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文件上传、下载，通过 Tracker server 调度最终由 Storage server 完成文件上传和下载。

在这里插入图片描述

注意：如果有一天，我们的存储容量不够了，我们可以扩展Storage群的组（group），比如卷n+1来提供服务。这样相对于重新使用一块大的存储空间来说，可以节约成本，这就是线性扩容。


3.1 调度服务器Tracker server

    Tracker server 作用是负载均衡和调度，通过 Tracker server 在文件上传时可以根据负载均衡的策略（例如轮询、随机）找到Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。


3.2 存储服务器Storage server

    Storage server 作用是文件存储，客户端上传的文件最终存储在 Storage 服务器上，Storage server 没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。可以将storage称为存储服务器。


3.3 文件上传流程

在这里插入图片描述

    客户端上传文件后存储服务器将文件 ID 返回给客户端，此文件 ID 就是用于以后访问该文件的索引信息。文件索引信息包括：

  1. 组名

    文件上传后所在的 storage 组名称，在文件上传成功后由storage 服务器返回，需要客户端自行保存。

  2. 虚拟磁盘路径

    storage 配置的虚拟路径，与磁盘选项store_path*对应。如果配置了 store_path0 则是 M00，如果配置了 store_path1 则是 M01，以此类推。

    注：虚拟路径需要在 storage.conf 文件中配置，实际上还是使用操作系统的文件系统来管理，只不过这里做了映射。

  3. 数据两级目录

    storage 服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。

    注：以文件名通过哈希算法，得到数据的两级目录，保证每个目录下的数据量不会太大，从而在某种程度上保证了文件检索的速度。

  4. 文件名

    与文件上传时不同。是由存储服务器根据特定信息随机生成的，文件名包含：源存储服务器 IP 地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

在这里插入图片描述



4. FastDFS安装

这里以Docker安装FastDFS为例。

  1. 拉取镜像；

    docker pull morunchang/fastdfs

    在这里插入图片描述

  2. 创建并后台运行tracker容器；

    docker run -d --name tracker --net=host morunchang/fastdfs sh tracker.sh
    • –net=host ：使用的网络模式是–net=host，host模式可以不用映射容器端口宿主机, 替换为你机器的ip即可；
    • sh tracker.sh ：进入这个tracker容器后需要执行的初始化命令。

    在这里插入图片描述

  3. 创建并后台运行storage容器；

    docker run -d --name storage --net=host -e TRACKER_IP=<your tracker server address>:22122 -e GROUP_NAME=<group name> morunchang/fastdfs sh storage.sh
    • –net=host ：使用的网络模式是–net=host，host模式可以不用映射容器端口宿主机, 替换为你机器的ip即可；
    • TRACKER_IP=:22122 ：指定tracker server的ip地址；
    • -e GROUP_NAME= ：-e指定参数，指定这个storage server的组名是什么；
    • sh storage.sh ：进入这个 storage 容器后需要执行的初始化命令。

    在这里插入图片描述

    注意：如果想要增加新的storage服务器，再次运行该命令，需要注意的是要更换新组名。

  4. 修改nginx的配置；

    FastDFS中内置了一个nginx服务器，它可以提供文件下载的功能。

    #(1)进入storage容器的内部
docker exec -it storage /bin/bash
#(2)编辑nginx的配置文件
vi /etc/nginx/conf/nginx.conf
#(3)

    ​ 修改以下内容(前两行已经存在，可以不用改)

    location ~ /M00 {
	root /data/fast_data/data;  
	ngx_fastdfs_module;#当我们访问M00的Http请求时，它把这个请求反向代理到了ngx_fastdfs_module 模块
	add_header Cache-Control no-store; #禁用浏览器的缓存
}

    在这里插入图片描述

    在这里插入图片描述

  5. 重启storage容器；

    docker restart storage

    在这里插入图片描述

  6. 查看tracker.conf和storage.conf配置文件。

    docker exec -it storage /bin/bash
cd /etc/fdfs
vim tracker.conf
vim storage.conf

    在这里插入图片描述

    在这里插入图片描述

    附： tracker.conf 和 storage.conf 详解



5. 案例-创建一个文件上传的微服务

以之前springcloud的学习案例为基础，创建文件上传微服务upload-service，通过fastdfs-client组件实现文件上传和删除的功能。

在这里插入图片描述


5.1 搭建子工程

    在spring cloud项目中创建子工程，并引入如下依赖：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<parent>
		<artifactId>springcloud</artifactId>
		<groupId>com.lijinghua</groupId>
		<version>0.0.1-SNAPSHOT</version>
	</parent>
	<groupId>com.lijinghua</groupId>
	<artifactId>upload-service</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<name>upload-service</name>

	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.cloud</groupId>
			<artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
		</dependency>
		<!-- FastDFS依赖 -->
		<dependency>
			<groupId>com.github.tobato</groupId>
			<artifactId>fastdfs-client</artifactId>
			<version>1.26.7</version>
		</dependency>
	</dependencies>

</project>

5.2 编辑 application.yml 配置文件

server:
  port: 9000

logging:
  #file: demo.log
  level:
    org.springframework.web: debug
    com.lijinghua: debug
  pattern:
    console: "%d - %msg%n"

spring:
  application:
    name: upload-service
  #SpringMVC multipart-file相关配置
  servlet:
    multipart:
      enabled: true
      max-file-size: 10MB  #单个文件上传总大小
      max-request-size: 20MB #总文件上传大小
fdfs:
  #连接超时
  connect-timeout: 60
  #读取超时
  so-timeout: 60
  #生成缩略图参数
  thumb-image:
    width: 150
    height: 150
  #tracker server 地址
  tracker-list: 192.168.192.130:22122

eureka:
  instance:
    #更倾向于使用ip地址，而不是主机名
    prefer-ip-address: true
    #ip地址
    ip-address: 127.0.0.1
    #续约间隔,默认30秒
    lease-renewal-interval-in-seconds: 5
    #服务的实效时间, 默认90秒
    lease-expiration-duration-in-seconds: 5
  client:
    service-url:
      defaultZone: http://127.0.0.1:10000/eureka,http://127.0.0.1:10001/eureka,http://127.0.0.1:10002/eureka

5.3 编写FastDfs的配置类

    引入 com.github.tobato.fastdfs.FdfsClientConfig 类即可。

@Configuration
@Import(FdfsClientConfig.class)
public class DfsConfig {
}

5.4 编写工具类FileDfsUtil

调用fastdfs-client工具方法实现文件上传和删除。

@Component
public class FileDfsUtil {
    private static final Logger LOGGER = LoggerFactory.getLogger(FileDfsUtil.class);

    private final FastFileStorageClient storageClient;

    @Autowired
    public FileDfsUtil(FastFileStorageClient storageClient) {
        this.storageClient = storageClient;
    }

    /**
     * 上传文件功能
     *
     * @param multipartFile 要上传的文件
     * @return
     */
    public String upload(MultipartFile multipartFile) throws IOException {
        //获取文件扩展名
        String extName = FilenameUtils.getExtension(multipartFile.getOriginalFilename());

        //上传图片文件以及缩略图，返回了一个存储路径，即file_id
        StorePath storePath = storageClient.uploadImageAndCrtThumbImage(
                multipartFile.getInputStream(),//文件的输入流
                multipartFile.getSize(),//文件的大小
                extName,
                null//元数据信息，例如作者姓名
        );

        return storePath.getFullPath();
    }


    /**
     * 删除文件功能
     *
     * @param fileUrl 要删除的文件url
     */
    public void delete(String fileUrl) {
        if (StringUtils.isEmpty(fileUrl)) {
            LOGGER.info("fileUrl == >>文件路径为空...");
            return;
        }
        try {
            StorePath storePath = StorePath.parseFromUrl(fileUrl);
            storageClient.deleteFile(storePath.getGroup(), storePath.getPath());
        } catch (Exception e) {
            LOGGER.info(e.getMessage());
        }
    }
}

5.5 创建FileController

创建文件上传和删除功能的controller，实现文件删除。

@RestController
public class FileController {

    private final FileDfsUtil fileDfsUtil;

    @Autowired
    public FileController(FileDfsUtil fileDfsUtil) {
        this.fileDfsUtil = fileDfsUtil;
    }

    /**
     * 文件上传
     *
     * @param file
     * @return
     */
    @RequestMapping(value = "upload", method = RequestMethod.POST, headers = "content-type=multipart/form-data")
    public ResponseEntity<String> uploadFile(@RequestParam("file") MultipartFile file) {
        String result;
        try {
            String path = fileDfsUtil.upload(file);
            if (!StringUtils.isEmpty(path.trim())) {
                result = path;
            } else {
                result = "上传失败";
            }
        } catch (Exception e) {
            return new ResponseEntity("服务异常", HttpStatus.INTERNAL_SERVER_ERROR);
        }


        return ResponseEntity.ok(result);
    }

    /**
     * 文件删除
     * @param filePathName file_id
     */
    @RequestMapping(value = "/deleteByPath", method = RequestMethod.GET)
    public ResponseEntity<String> deleteByPath(String filePathName) {
        // String filePathName = "group1/M00/00/00/wKhjZF3WEDmAPSglAABSZAhj0eU111.jpg" ;
        String result = "删除成功";
        try {
            fileDfsUtil.delete(filePathName);
        } catch (Exception e) {
            result = "服务异常";
        }
        return ResponseEntity.ok(result);
    }
}

5.6 测试

5.6.1 上传

在这里插入图片描述

在这里插入图片描述


5.6.2 删除

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Java战5渣
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
fastDFS分布式文件系统部署方案
12-16
fastDFS分布式文件系统部署方案，详细部署步骤，一看便知； FastDFS 是一个开源的高性能分布式文件系统（ DFS ）。 它的主要功能包括：文件存储，文件同步和 文件访问，以及高容量和负载平衡。主要解决了海量数据...
这三年被分布式坑惨了，曝光十大坑
悟空聊架构的专栏
09-24 1072
本篇主要内容如下： 前言 我们都在讨论分布式，特别是面试的时候，不管是招初级软件工程师还是高级，都会要求懂分布式，甚至要求用过。传得沸沸扬扬的分布式到底是什么东东，有什么优势？ 借用火影忍术 看过火影的同学肯定知道漩涡鸣人的招牌忍术：多重影分身之术。 这个术有一个特别厉害的地方，过程和心得：多个分身的感受和经历都是相通的。比如 A 分身去找卡卡西（鸣人的老师）请教问题，那么其他分身也会知道 A 分身问的什么问题。 漩涡鸣人有另外一个超级厉害的忍术，需要由几个影分身完成：风遁·螺旋手里剑。这个忍术是靠三
10分钟搞懂：亿级用户的分布式数据存储解决方案！
a676559201的博客
04-14 373
分布式数据库和分布式存储是分布式系统中难度最大、挑战最大，也是最容易出问题的地方。互联网公司只有解决分布式数据存储的问题，才能支撑更多次亿级用户的涌入。 接下来，你将花费十分钟掌握以下三方面内容： 1、MySQL复制：包括主从复制和主主复制； 2、数据分片：数据分片的原理、分片的方案、分片数据库的扩容； 3、数据库分布式部署的几种方案。 一、MySQL复制 1.MySQL的主从复制 MySQL的主...
常用分布式解决方案
growdu的网络博客
10-10 1001
传统的存储也称为集中式存储， 从概念上可以看出来是具有集中性的，也就是整个存储是集中在一个系统中的，但集中式存储并不是一个单独的设备，是集中在一套系统当中的多个设备。集中式存储 最大的特点是有一个统一的入口，所有数据都要经过统一的入口。
分布式常见问题终极解决方案带图＜有时间更新＞(如:分布式事务,锁,机房迁移,数据一致)
Nuan_Feng的博客
06-11 2263
一致性 session一致性 tomcat广播 优点:简单容易实现 缺点 当服务器多的时候,广播占用大量带宽,而且每台服务器保存session占用内存 客户端存储 优点 服务器不需要存储 缺点 每次请求需要携带session,占用带宽 安全问题 session存储客户端,受限于cookie限制 nginx固定分配一台服务器处理 4层代理hash,使用ip作为hash分配服务器 7层代理hash,使用业务属性分配,如order_id,user_id等 优点: 只需要修
【源码系列-4】【fastdfs系列-1】初始化客户端
u010659877的专栏
03-12 779
fastdfs系列——初始化客户端事前声明解析配置文件、创建tracker group获取tracker 事前声明 本文使用的是100只（Mr / Miss）快乐鱼的开源代码，附上源码链接：https://github.com/happyfish100/ 从一个测试用例入手分析若想对fastdfs中的文件进行操作，分为下面几步： 解析配置文件 根据配置文件中的数据生成tracker serv...
分布式数据（文件）存储
lxlmycsdnfree的博客
11-12 6834
在分布式存储里面，比较常见的有kafka,Hbase,HDFS,fastDFS等，这里面涉及到文件的分布式存储以及数据的分布式存储。分布式存储的背景：就是将数据文件分散的存储到分布式集群的每一个节点，提升了存储的容量（大数据化）；同时尽量凸显分布式的检索能力。分布式存储的原理：分层化的hash映射、数据组织的数据摘要以及块数据的叶子索引结构；这几种数据结构相结合的方式提供快速检索的能力和存储结构。
spring boot整合fastdfs实现文件上传、下载等
weixin_57392053的博客
04-05 2854
1、安装fastdfs 2、通过使用fastdfs-client实现文件上传、下载 3、spring boot整合实现文件上传、下载
fastDFS文件服务器的java客户端初始化方法ClientGlobal.init(fdfs_client.properties) 找不到配置文件路径异常的解决
热门推荐
终生学习践行者
06-09 1万+
  最近在使用fastDFS文件服务器的java客户端上传文件时，它的初始化方法ClientGlobal.init(String)出现找不到配置文件的异常，无论是写死fdfs_client.properties文件位置还是怎样，都找不到配置文件的异常： 异常描述 异常代码源头,即ClientGlobal.init()方法   这里我所使用的jar包版本是： 　　<dependency&g...
druid yml 完整配置
lizhengyu891231的博客
02-25 6376
转载自：https://www.cnblogs.com/zhangzhonghui/p/11567623.html 叙述 开发中遇到需要配置yml 方式的druid 参数时，一直找不到完整的参数，现在整理到此参数清单。方便以后查询。 清单 spring: datasource: # druid连接池 type: com.alibaba.druid.pool.DruidDataSource #数据库驱动 driver: com.mysql.jdbc.Drive..
基于Go的分布式文件系统设计源码
04-06
本项目是一个基于Go语言开发的分布式文件系统，包含1049个文件，主要文件类型包括Go源代码、...支持断点续传、分块上传、小文件合并、自动同步和自动修复等功能，为用户提供一个稳定、高效的文件存储和共享解决方案。
畅购商城第二章分布式存储解决方案源码加视频加讲义
12-01
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站...
Qt+go-Fastdfs 仿百度云盘开发笔记代码一，试用Qt实现登录和注册功能
12-11
Qt+go-Fastdfs 仿百度云盘开发笔记，​基于Nginx作为反向代理和轻量级web服务器，客户端使用Qt搭建，后台...分布式解决方案用Go-Fastdfs,简介和安装部署可参考Go-Fastdfs安装部署，数据存储使用mysql和redis进行缓存。
2小时学会电商项目购物车解决方案
06-18
FastDFS分布式文件服务器,还会涉及到代码生成器, 前台的技术有angularJS和BootStrap框架,此课程内容丰富实战性强,如果你还是传统项目的开发人员,那你学完本课程会有很大的收获,让你的薪资上涨,5K以上,让你完全感受...
Kafka：分布式流处理平台的深度解析
shiranyyds的博客
04-21 1176
Kafka：分布式流处理平台的深度解析
分布式-知识体系
heyuye110
04-25 217
分布式扫盲
3796 i-FRAME 安装、操作和维护手册
04-27
3796 i-FRAME 安装、操作和维护手册
我的visio画图 资源备用
最新发布
04-27
我的visio画图
NPOI是指构建在POI 3.x版本之上的一个程序
04-27
NPOI可以在没有安装Office的情况下对Word或Excel进行读写，NPOI是一个开源的C#读写Excel、WORD等微软OLE2组件文档的项目
分布式文件存储 minio
09-21
分布式Minio是一个可以将多块硬盘组成一个对象存储服务的解决方案。它通过在不同的节点上分布硬盘，避免了单点故障的问题。分布式Minio严格遵守read-after-write一致性模型，确保所有读写操作的一致性。要启动一个分布式Minio实例，你只需要将硬盘位置作为参数传递给minio server命令，并在所有其他节点上运行相同的命令。所有运行分布式Minio的节点应共享一个共同的根凭证，以便节点之间的连接和信任。建议在执行Minio服务器命令之前，将root用户和root密码导出为环境变量MINIO_ROOT_USER和MINIO_ROOT_PASSWORD，并在所有节点上导出。如果没有导出，可以使用默认凭据minioadmin/minioadmin。Minio将创建每组2到16个驱动器的纠删码集。您提供的驱动器总数必须是这些数字之一的倍数。分布式Minio选择最大的EC集大小，并将其划分为给定的驱动器总数或节点总数，以确保均匀分布，即每个节点参与每组相同数量的驱动器。每个对象都被写入单个EC集，因此它们分布在不超过16个驱动器上。建议所有运行分布式Minio设置的节点是同质的，即操作系统相同、磁盘数量相同、网络互连相同。分布式Minio需要新的目录，如果需要，可以与其他应用程序共享驱动器。您可以通过使用Minio独有的子目录来实现此目的。例如，如果您已将卷安装在/export下，则可以将其作为参数传递给Minio服务器/export/data。运行分布式Minio实例的服务器之间的时间间隔应小于15分钟。为了确保服务器之间的时间同步，建议启用NTP服务。在Windows操作系统上运行分布式Minio被认为是实验性的，请谨慎使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值