分布式文件系统FastDFS

最新推荐文章于 2024-01-15 15:12:13 发布

啊啊啊杨

最新推荐文章于 2024-01-15 15:12:13 发布

阅读量258

点赞数 1

分类专栏：分布式文件系统文章标签： hdfs hadoop

本文链接：https://blog.csdn.net/qq_46079238/article/details/127631267

版权

分布式文件系统专栏收录该内容

2 篇文章 0 订阅

订阅专栏

先说说主流的分布式文件系统：

1.HDFS

(Hadoop Distributed File System)Hadoop 分布式文件系统；
高容错的系统，适合部署到廉价的机器上；
能提供高吞吐量的数据访问，非常适合大规模数据应用；
HDFS采用主从结构，一个HDFS是由一个name节点和N个data节点组成；
name节点储存元数据，一个文件分割成N份存储在不同的data节点上。

2.GFS

Google File System
可扩展的分布式文件系统，用于大型的，分布式的，对大量数据进行访问的应用
运行于廉价的普通硬件上，可以提供容错功能；
它可以给大量的用户提供总体性能较高的服务；
GFS采用主从结构，一个GFS集群由一个master和大量的chunkserver（分块服务器）组成；
一个文件被分割若干块，分散储存到多个分块server中

3.FastDFS

由淘宝资深架构师余庆编写并开源；
专为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能
等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务；
HDFS，GFS等都是通用的文件系统，他们的优点是开发体验好，但是系统的复杂度较高，性能也一般；
相比之下，专用的分布式文件系统体验差，但是复杂度低，性能也高，尤其fastDFS特别适合图片，小视频等小文件，因为fastDFS对文件是不分割的，所以没有文件合并的开销；
网络通信用socket，速度快。

4 工作原理

fastDFS包含Tracker Server和Storage Server；
客户端请求Tracker Server进行文件的上传与下载；
Tracker Server调度Storage Server最终完成上传与下载。
在这里插入图片描述
Tracker （译：追踪者）

作用是负载均衡和调度，它管理着存储服务（Storage Server），可以理解为：“大管家，追踪者，调度员”；
Tracker Server可以集群，实现高可用，策略为“轮询”。

Storage （译：仓库; 贮存器）

作用是文件存储，客户端上传的文件最终存储到storage服务器上；
storage集群采用分组的方式，同组内的每台服务器是平等关系，数据同步，目的是实现数据
备份，从而高可用，而不同组的服务器之间是不通信的；
同组内的每台服务器的存储量不一致的情况下，会选取容量最小的那个，所以同组内的服务器之间软硬件最好保持一致。
Storage Server会连接集群中的所有Tracker Server，定时向他们汇报自己的状态，例如：剩
余空间，文件同步情况，文件上传下载次数等信息。

5 上传/下载原理

在这里插入图片描述

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

netstat -ntlp

pom.xml文件

在这里插入图片描述

在resources下创建config目录，在config目录下创建 fastdfs-client.properties，内容如下：

fastdfs.connect_timeout_in_seconds = 5
fastdfs.network_timeout_in_seconds = 30
fastdfs.charset = UTF-8
fastdfs.http_anti_steal_token = false
fastdfs.http_secret_key = FastDFS1234567890
fastdfs.http_tracker_http_port = 80
fastdfs.tracker_servers = 10.1.220.247:22122

文件上传：

package test;

import org.csource.common.MyException;
import org.csource.common.NameValuePair;
import org.csource.fastdfs.*;

import java.io.IOException;

/**
 * @Author ywc
 * @ClassName TestUpload
 * @Description TODO
 * @date 2022-11-01 11:40
 * @Version 1.0
 */
public class TestUpload {

    public static void main(String[] args) {
            //加载配置文件
        try {
            ClientGlobal.initByProperties("config/fastdfs-client.properties");

            TrackerClient trackerClient = new TrackerClient();

            //通过tracker客户端获取Tracker的服务
            TrackerServer connection = trackerClient.getConnection();
            //声明一个storage的服务
            StorageServer storageServer=null;
            //定义storage客户端
            StorageClient1 client1 = new StorageClient1(connection, storageServer);
//定义文件元信息

            NameValuePair[] list =new NameValuePair[1];
            list[0]=new NameValuePair("fileName","1.jpg");


            String fileId = client1.upload_file1("F:\\img\\1.jpg", "jpg", list);
            System.out.println(fileId);
            connection.close();
        } catch (IOException e) {
            e.printStackTrace();
        } catch (MyException e) {
            e.printStackTrace();
        }

    }

}