分布式文件系统——fastDFS_问价上传下载-CSDN博客

本文链接：https://blog.csdn.net/nmb_jiang/article/details/115841405

什么是fastDFS

FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
fastdfs架构图：
](https://img-blog.csdnimg.cn/20210418222406445.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25tYl9qaWFuZw==,size_16,color_FFFFFF,t_70)

FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文件上传、下载，通过Tracker server 调度最终由 Storage server 完成文件上传和下载。
Tracker server 作用是负载均衡和调度，通过 Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。
Storage server 作用是文件存储，客户端上传的文件最终存储在 Storage 服务器上，Storageserver 没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。可以将 storage 称为存储服务器。

tracker： 调度器，用来管理集群，也可以实现集群。每个tracker节点地位平等，用来收集storage集群的状态。
storage： 保存文件的地方。storage分为多个组，每个组之间保存的文件是不同的。每个组内部可以有多个成员，组成员内部保存内容是一样的，组成员的地位也是一致的，没有主从的概念。

问价上传流程

在这里插入图片描述

客户端上传文件后存储服务器将文件 ID 返回给客户端，此文件 ID 用于以后访问该文件的索引信息。文件索引信息包括:组名（group1），虚拟磁盘路径（/M00），数据两级目录(/02/44)，文件名(wKgD……)。
在这里插入图片描述
组名： 文件上传后所在的 storage 组名称，在文件上传成功后有 storage 服务器返回，需要客户端自行保存。
虚拟磁盘路径： storage配置的虚拟路径，与配置文件中磁盘选项 store_path*对应。如果配置了 store_path0 则是 M00，如果配置了 store_path1 则是 M01，以此类推。
数据两级目录： storage 服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。
文件名： 与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储服务器 IP 地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

文件下载流程

在这里插入图片描述

安装部署（centos 7.x）

安装依赖包
解压缩libfastcommon-master.zip

[root@localhost ~]# unzip libfastcommon-master.zip
[root@localhost ~]# cd libfastcommon-master
[root@localhost ~]# ./make.sh && ./make.sh install

安装fastdfs

解压缩fastdfs-master.zip

[root@localhost ~]# unzip fastdfs-master.zip
[root@localhost ~]# cd fastdfs-master
[root@localhost ~]# ./make.sh && ./make.sh install

配置tracker服务

[root@localhost ~]# cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
# 创建存放traker的目录
[root@localhost ~]# mkdir –p /usr/local/python/fastdfs/tracker
# 编辑tracker配置文件
# vim /etc/fdfs/tracker.conf
修改：base_path=/usr/local/python/fastdfs/tracker

配置storage存储服务

[root@localhost ~]# cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
# 创建存放storage的目录
[root@localhost ~]# mkdir –p /usr/local/python/fastdfs/storage
# 编辑storage配置文件
[root@localhost ~]# vim /etc/fdfs/storage.conf
修改：
base_path=/usr/local/python/fastdfs/storage
store_path0=/usr/local/python/fastdfs/storage
tracker_server=192.168.8.25（tracker服务器的ip地址）:22122

启动tracker和storage

service fdfs_trackerd start
service fdfs_storaged start
或者：
/etc/init.d/fdfs_trackerd start
/etc/init.d/fdfs_storaged start

上传文件测试是否安装成功

[root@localhost ~]# cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
# 编辑客户端文件
[root@localhost ~]# vim /etc/fdfs/client.conf
修改：
base_path=/usr/local/python/fastdfs/tracker
tracker_server=192.168.8.25（tracker服务器的ip地址）:22122
上传文件：
# Usage: fdfs_upload_file <config_file> <local_filename> [storage_ip:port] [store_path_index]
[root@localhost ~]# fdfs_upload_file /etc/fdfs/client.conf 要上传的图片文件

如下图所示表示上传文件成功！
在这里插入图片描述

Django配置使用fastDFS

在utils包中新建一个fastdfs包：
在这里插入图片描述
client.conf

# connect timeout in seconds
# default value is 30s
connect_timeout=30

# network timeout in seconds
# default value is 30s
network_timeout=60

# the base path to store log files
base_path=/var/log

# tracker_server can ocur more than once, and tracker_server format is
#  "host:port", host can be hostname or ip address
tracker_server=192.168.8.25:22122

#standard log level as syslog, case insensitive, value list:
### emerg for emergency
### alert
### crit for critical
### error
### warn for warning
### notice
### info
### debug
log_level=info

# if use connection pool
# default value is false
# since V4.05
use_connection_pool = false

# connections whose the idle time exceeds this time will be closed
# unit: second
# default value is 3600
# since V4.05
connection_pool_max_idle_time = 3600

# if load FastDFS parameters from tracker server
# since V4.05
# default value is false
load_fdfs_parameters_from_tracker=false

# if use storage ID instead of IP address
# same as tracker.conf
# valid only when load_fdfs_parameters_from_tracker is false
# default value is false
# since V4.05
use_storage_id = false

# specify storage ids filename, can use relative or absolute path
# same as tracker.conf
# valid only when load_fdfs_parameters_from_tracker is false
# since V4.05
storage_ids_filename = storage_ids.conf


#HTTP settings
http.tracker_server_port=80

#use "#include" directive to include HTTP other settiongs
##include http.conf

models.conf:

from django.conf import settings
from django.core.files.storage import Storage


class FastDFSStorage(Storage):
    """自定义文件存储系统"""

    def __init__(self, fdfs_base_url=None):
        """
        构造方法，可以不带参数，也可以携带参数
        :param base_url: Storage的IP
        """
        self.fdfs_base_url = fdfs_base_url or settings.FDFS_BASE_URL

    def _open(self, name, mode='rb'):
        """
        用于打开文件
        :param name: 要打开的文件的名字
        :param mode: 打开文件方式
        :return: None
        """
        # 打开文件时使用的，此时不需要，而文档告诉说明必须实现，所以pass
        pass

    def _save(self, name, content):
        """
        用于保存文件
        :param name: 要保存的文件名字
        :param content: 要保存的文件的内容
        :return: None
        """
        # 保存文件时使用的，此时不需要，而文档告诉说明必须实现，所以pass
        pass

    def url(self, name):
        """
        返回name所指文件的绝对URL
        :param name: 要读取文件的引用:group1/M00/00/00/wKhnnlxw_gmAcoWmAAEXU5wmjPs35.jpeg
        :return: http://192.168.103.158:8888/group1/M00/00/00/wKhnnlxw_gmAcoWmAAEXU5wmjPs35.jpeg
        """
        # return 'http://192.168.103.158:8888/' + name
        # return 'http://image.meiduo.site:8888/' + name
        return self.fdfs_base_url + name

配置文件：

# 指定自定义的Django的文件存储类
DEFAULT_FILE_STORAGE = 'meiduo_mall.utils.fastdfs.models.FastDFSStorage'
FDFS_BASE_URL = 'http://192.168.8.25:8888/'

官方文档
 fastdfs