分布式文件系统FastDFS实战

1. 分布式文件系统应用场景

  • 互联网海量非结构化数据的存储需求:
    1. 电商网站:海量商品图片
    2. 视频网站:海量视频文件
    3. 网盘:海量文件
    4. 社交网站:海量图片

2.FastDFS介绍

https://github.com/happyfish100/fastdfs

2.1简介

  • FastDFS 是一个开源的高性能分布式文件系统(DFS)。它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡。主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB< file_size< 500MB)为载体的在线服务
  • FastDFS设计是用来存储小文件的,过大的文件处理方案是拆分为小文件,可跟踪小文件的上传情况。如果应用场景都是外理大文件,可以选择其他分布式文件系统方案会更合适。

2.2 特性

  • FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
  • 优点:
    1. 文件不分块存储,文件和系统中的文件一一对应。
    2. 对文件内容做hash处理,避免出现重复文件,节约磁盘空间。
    3. 下载文件支持HTTP协议,可基于内置Web Server或外部Web Server。
    4. 支持在线扩容,动态添加卷。
    5. 支持文件冗余备份和负载均衡。
    6. 存储服务器上可以保存文件属性 (meta-data)。
    7. V2.0 网络通信采用libevent,支持高并发访问,整体性能更好。
  • 缺点:
    1. 直接按文件存储,可直接查看文件内容,缺乏文件安全性。
    2. 数据同步无校验,存在静默IO问题,降低系统可用性。
    3. 单线程数据同步,仅适合存储小文件 (4KB到500MB之间)。
    4. 备份数根据存储分卷(分组)决定,缺乏文件备份数设置灵活性。
    5. 单个挂载点异常会导致整个存储节点下线。
    6. 缺乏多机房容灾机制。
    7. 静态的负载均衡机制。
  • 优点与缺点并存,但针对中小型系统已经完全足够使用了。

2.3. 角色

  • Tracker Server: 跟踪服务器,主要做调度工作,起到均衡的作用。负责管理所有的 storage servergroup,每个 storage 在启动后会连接Tracker,告知自己所属 group 等信息,并保持周期性心跳。
  • Storage Server: 存储服务器,主要提供容量和备份服务;以 group 为单位,每个group 内可以有多台 storage server,数据互为备份。
  • client: 客户端,上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。
    在这里插入图片描述
  • Tracker相当于一个调度中心,上传和下载都通过它来进行分配指定
  • Storage cluster部分,由Volume1、Volume2…VolumeK组成,它们称为卷(或者叫做组),卷与卷之间是平行的关系,可以根据资源的使用情况随时增加,卷内服务器文件相互同步备份,以达到容灾的目的。

2.4. 存储策略:

  • 为了支持大容量,存储节点 (服务器) 采用了分卷 (或分组) 的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起到了冗余备份和负载均衡的作用。
  • 在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。

2.5. 上传过程:

  • 当服务启动之后,Storage Server会定期的向Tracker Server发送存储信息如果Tracker Server是集群形式,则每个Tracker之间的关系是对等的,客户端上传时选择任意一个Tracker即可。
  • 整体流程:当客户端请求Tracker进行上传操作时,会获取存储服务器相关信息,主要包括IP和端口。根据返回信息上传文件,通过存储服务器写入磁盘,并返回给客户端file_id、路径信息、文件名等信息。
  • 对应流程图如下:

在这里插入图片描述

  • 其中,当Tracker收到客户端上传文件的请求时,会为该文件分配一个可以存储文件的group,当选定了group后就要决定给客户端分配group中的哪一个storage server
  • 当分配好storage server后,客户端向storage发送写文件请求,storage将会为文件分配一个数据存储目录。然后为文件分配一个fileid最后根据以上的信息生成文件名存储文件。
  • 生成的文件名基本格式如下:
    在这里插入图片描述
  • 组名:文件上传后所在的 storage 组名称,在文件上传成功后有 storage 服务器返回,需要客户端自行保存。
  • 虚拟磁盘路径storage 配置的虚拟路径,与磁盘选项 store_path*对应。如果配置了store_path0 则是 M00,如果配置了store_path1则是M01,以此类推。
  • 数据两级目录storage 服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。
  • 文件名:与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含源存储 服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

2.6文件同步

  • 写文件时,客户端将文件写至group内一个storage server即认为写文件成功,storage server写完文件后,会由后台线程将文件同步至同group内其他的storage server
  • 每个storage写文件后,同时会写一份binlogbinlog里不包含文件数据,只包含文件名等元信息,这份binlog用于后台同步,storage会记录向group内其他storage同步的进度,以便重启后能接上次的进度继续同步,进度以时间戳的方式进行记录,所以最好能保证集群内所有server的时钟保持同步。
  • storage的同步进度会作为元数据的一部分汇报到traker上,tracke在选择读storage的时候会以同步进度作为参考。

2.7下载过程

  • 跟上传一样,在下载时客户端可以选择任意Tracker server
  • 客户端带文件名信息请求TrackerTracker从文名中解析出文件的group、大小、创建时间等信息,然后选择一个storage用来服务处理请求,返回对应文件。
  • 对应流程图如下:
    在这里插入图片描述
  • 如果是基于Web的http请求,此处的Client可以是Nginx代理服务。下面这张图更加形象的描述了相关的流程。

在这里插入图片描述

3.FastDFS环境搭建

3.1环境准备

3.1.1. 使用的系统软件

名称说明
centos7.X
libfastcommonFastDFS分离出的一些公用函数包
FastDFSFastDFS本体
fastdfs-nginx-moduleFastDFS和nginx的关联模块
nginxnginx-1.16.1

3.1.2. 编译环境:

yum  -y   install git gcc gcc-c++ make automake autoconf 1ibtool pcre pcre-devel zlib zlib-devel openssl-devel  wget  vim   

3.1.3. 磁盘目录

说明位置
所有安装包/usr/local/soft/
数据存储位置/data/fastdfs/

3.1.4. 安装libfastcommon

mkdir  /usr/local/soft/
cd   /usr/local/soft
#下载libfastcommon源码包
wget  https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz
tar -xf libfastcommon-1.0.7.tar.gz
cd libfastcommon-1.0.7 
#编译安装:
./make.sh && ./make.sh insta11

3.1.5. 安装FastDFS

cd   /usr/local/soft
#下载fastdfs源码包
wget   https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz
cd fastdfs-5.05/
#编译安装
./make.sh && ./make.sh insta11


#供nginx访问使用
cp -r  /usr/local/soft/fastdfs-5.05/conf/http.conf  /etc/fdfs/
cp -r  /usr/local/soft/fastdfs-5.05/conf/mime.types /etc/fdfs/
	

3.1.6. 安装fastdfs-nginx-module

fastdfs-nginx-module下载

在这里插入图片描述

#下载nginx模块:
tar -xf fastdfs-nginx-module_v1.16.tar.gz

cp  -r /usr/local/soft/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

3.1.7. 安装nginx

#下载nginx源码
wget  https://nginx.org/download/nginx-1.16.1.tar.gz
tar -xf nginx-1.16.1.tar.gz
cd nginx-1.16.1/
#预编译添加fastdfs-nginx-module模块
./configure --add-module=/usr/local/soft/fastdfs-nginx-module/src/
#编译安装
make && make install
  • 编译时报错如下:
In file included from /usr/local/soft/fastdfs-nginx-module/src//common.c:26:0,
                 from /usr/local/soft/fastdfs-nginx-module/src//ngx_http_fastdfs_module.c:6:
/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h: No such file or directory
 #include "common_define.h"
                           ^
compilation terminated.

在这里插入图片描述

  • 解决方法如下:
    fastdfs-nginx-module/src/configCORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/" 去掉local
    修改如下:
vim /usr/local/soft/fastdfs-nginx-module/src/config
...

CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
...
  • 继续安装nginx
cd  /usr/local/soft/nginx-1.16.1
#预编译添加fastdfs-nginx-module模块
./configure --add-module=/usr/local/soft/fastdfs-nginx-module/src/
#编译安装
make && make install

3.2. 单机部署

  • 服务器IP地址:192.168.2.10
#添加域名方便管理
vim /etc/hosts
192.168.2.10   fastdfs.com

3.2.1. tracker配置:

mkdir  -p /data/fastdfs/
cp -r  /etc/fdfs/tracker.conf.sample  /etc/fdfs/tracker.conf
vim  /etc/fdfd/tracker.conf
修改如下:
base_path=/data/fastdfs/
  • tracker.conf配置文件详解:
disabled=false   #标识是否禁用,这里设置为 false 表示启用

bind_addr=     #绑定地址,留空表示绑定所有可用地址   

port=22122   #监听端口号

connect_timeout=30     #连接超时时间,单位为秒

network_timeout=60     #网络超时时间,单位为秒

base_path=/data/fastdfs/    #存储文件的基本路径

max_connections=256       #最大连接数

accept_threads=1      #接受连接的线程数

work_threads=4     #工作线程数

store_lookup=2     #存储查找方式

store_group=group2   #存储组名

store_server=0      #存储服务器编号
 
store_path=0      #存储路径编号  

download_server=0      #下载服务器编号

reserved_storage_space = 10%    #保留存储空间的百分比

log_level=info    #日志级别,这里设置为 info

run_by_group=      #运行用户组

run_by_user=      #运行用户名

allow_hosts=*     #允许连接的主机,这里设置为全部允许

sync_log_buff_interval = 10    #同步日志缓冲间隔,单位为秒

check_active_interval = 120    #检查活跃状态的间隔时间,单位为秒

thread_stack_size = 64KB    #线程栈大小  

storage_ip_changed_auto_adjust = true       #存储 IP 变化自动调整的开关,这里设置为 true

storage_sync_file_max_delay = 86400   #存储同步文件最大延迟时间,单位为秒

storage_sync_file_max_time = 300   #存储同步文件最大时间,单位为秒

use_trunk_file = false    #是否使用扩展文件

slot_min_size = 256    #槽位最小尺寸

slot_max_size = 16MB   #槽位最大尺寸

trunk_file_size = 64MB   #扩展文件大小

trunk_create_file_advance = false   #是否提前创建扩展文件

trunk_create_file_time_base = 02:00   #扩展文件创建时间的基准,这里设置为凌晨 2 点

trunk_create_file_interval = 86400   #扩展文件创建间隔,单位为秒

trunk_create_file_space_threshold = 20G   #扩展文件空间阈值

trunk_init_check_occupying = false   #初始化检查扩展文件占用情况的开关

trunk_init_reload_from_binlog = false   #是否从 binlog 重载初始化数据

trunk_compress_binlog_min_interval = 0   #扩展文件压缩的最小时间间隔,单位为秒

use_storage_id = false    #是否使用存储 ID

storage_ids_filename = storage_ids.conf    #存储 ID 配置文件名

id_type_in_filename = ip     #文件名中的 ID 类型,这里设置为 IP

store_slave_file_use_link = false   #从节点是否使用链接方式

rotate_error_log = false    #是否轮转错误日志

error_log_rotate_time=00:00    #错误日志轮转时间

rotate_error_log_size = 0     #错误日志轮转大小

log_file_keep_days = 0    #保留日志文件的天数

use_connection_pool = false    #是否使用连接池

connection_pool_max_idle_time = 3600   #连接池最大空闲时间,单位为秒

http.server_port=8080     #HTTP 服务器监听端口号

http.check_alive_interval=30    #检查存活状态的间隔时间,单位为秒

http.check_alive_type=tcp    #检查存活状态的类型,这里设置为 TCP

http.check_alive_uri=/status.html   #检查存活状态的 URI

3.2.2. storage配置

cp -r /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
vim /etc/fdfs/storage.conf
...
port=23000    #storage服务端口,默认23000一般不修改
base_path=/data/fastdfs/  #数据和日志文件存放根目录
store_path0=/data/fastdfs/  #第一存储目录
tracker_server=fastdfs.com:22122  #tracker服务IP和端口号
http.server_port=8888  #http访问文件的端口(默认8888,和nginx保持一致)
  • 配置文件详解:
disabled=false  #标识是否禁用,这里设置为 false 表示启用

group_name=group1  #FastDFS 的分组名称

bind_addr=  #绑定地址,留空表示绑定所有可用地址

client_bind=true  #客户端是否绑定地址的开关,这里设置为 true

port=23000  #监听端口号

connect_timeout=30  #连接超时时间,单位为秒

network_timeout=60  #网络超时时间,单位为秒

heart_beat_interval=30  #心跳间隔时间,单位为秒

stat_report_interval=60  #状态报告间隔时间,单位为秒

base_path=/data/fastdfs/ #存储文件的基本路径

max_connections=256  #最大连接数

buff_size = 256KB  #缓冲区大小

accept_threads=1  #接受连接的线程数

work_threads=4  #工作线程数

disk_rw_separated = true  #磁盘读写是否分离的开关,这里设置为 true

disk_reader_threads = 1  #磁盘读取线程数

disk_writer_threads = 1  #磁盘写入线程数

sync_wait_msec=50  #同步等待时间,单位为毫秒

sync_interval=0  #同步间隔时间,单位为秒

sync_start_time=00:00  #同步开始时间

sync_end_time=23:59  #同步结束时间
write_mark_file_freq=500  #写入标记文件的频率

store_path_count=1  #存储路径个数

store_path0=/data/fastdfs/  #存储路径

subdir_count_per_path=256  #每个存储路径的子目录个数

tracker_server=fastdfs.com:22122  #Tracker 服务器地址

log_level=info  #日志级别,这里设置为 info

run_by_group=  #运行用户组

run_by_user=  #运行用户名

allow_hosts=*  #允许连接的主机,这里设置为全部允许

file_distribute_path_mode=0  #文件分布路径模式

file_distribute_rotate_count=100  #文件分布轮转计数

fsync_after_written_bytes=0  #写入多少字节后执行 fsync

sync_log_buff_interval=10  #同步日志缓冲间隔,单位为秒

sync_binlog_buff_interval=10  #同步二进制日志缓冲间隔,单位为秒

sync_stat_file_interval=300  #同步统计文件间隔,单位为秒

thread_stack_size=512KB  #线程栈大小

upload_priority=10  #上传优先级

if_alias_prefix=  #接口别名前缀

check_file_duplicate=0  #检查文件重复性的开关

file_signature_method=hash  #文件签名方法

key_namespace=FastDFS  #键命名空间

keep_alive=0  #保持连接的时间,单位为秒

use_access_log = false  #是否使用访问日志

rotate_access_log = false  #是否轮转访问日志

access_log_rotate_time=00:00  #访问日志轮转时间

rotate_error_log = false  #是否轮转错误日志

error_log_rotate_time=00:00  #错误日志轮转时间

rotate_access_log_size = 0  #访问日志轮转大小

rotate_error_log_size = 0  #错误日志轮转大小

log_file_keep_days = 0  #保留日志文件的天数

file_sync_skip_invalid_record=false  #是否跳过无效记录进行文件同步的开关

use_connection_pool = false  #是否使用连接池

connection_pool_max_idle_time = 3600  #连接池最大空闲时间,单位为秒

http.domain_name=  #HTTP 服务器的域名

http.server_port=8888  #HTTP 服务器监听端口号

3.2.3. 启动服务

#启动tracker服务:
/usr/bin/fdfs_trackerd  /etc/fdfs/tracker.conf
#启动storage服务:
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf
# 重启storage服务:
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf  restart  

3.2.4. client测试:

cp -r /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
...
base_path=/data/fastdfs  #存储文件路径
tracker_server=fastdfs.com:22122  #指定tracker服务IP地址和端口号
...
#测试上传图片,下载一张图片上传至/root/下
ls
anaconda-ks.cfg  pcindex_small.png
#上传图片:
fdfs_upload_file /etc/fdfs/client.conf  /root/pcindex_small.png
group1/M00/00/00/wKgCCmUQWBeAOIRdAAAYqekVITI126.png    --这是存放图片的路径
#查看一下图片:
ls /data/fastdfs/data/00/00/wKgCCmUQWBeAOIRdAAAYqekVITI126.png
/data/fastdfs/data/00/00/wKgCCmUQWBeAOIRdAAAYqekVITI126.png

#删除图片:
fdfs_delete_file /etc/fdfs/client.conf   group1/M00/00/00/wKgCCmUQWBeAOIRdAAAYqekVITI126.png

#查看图片是否存在:
ls /data/fastdfs/data/00/00/

3.2.5. 配置nginx访问

#修改mod_fastdfs.conf
vim /etc/fdfs/mod_fastdfs.conf

tracker_server=fastdfs.com:22122   #Tracker 服务器的地址和端口号
url_have_group_name = true    #URL 是否包含分组名称的开关,设置为 true 表示 URL 包含分组名称
store_path0=/data/fastdfs   #存储路径的配置。FastDFS 是一个分布式文件系统,数据会保存在多个存储路径中。store_path0 表示第一个存储路径,/data/fastdfs 是具体的路径。可以根据实际情况配置多个存储路径,每个存储路径使用不同的 store_pathX 配置项,例如 store_path1=/path/to/another/store

#配置nginx.config
vim /usr/local/nginx/conf/nginx.conf
...
server {
        listen       8888;  #该端口为storage.conf中的http.server_port相同
        server_name  localhost;
        location  ~/group[0-9]/  {
            ngx_fastdfs_module;
        }
#启动nginx
/usr/local/nginx/sbin/nginx
#重启nginx
/usr/local/nginx/sbin/nginx  -s reload
#停止nginx
/usr/local/nginx/sbin/nginx  -s  stop

3.2.6. 测试:

#上传一张图片
fdfs_upload_file /etc/fdfs/client.conf  /root/pcindex_small.png
group1/M00/00/00/wKgCCmUQYGmAC88HAAAYqekVITI560.png

  • 打开浏览器访问:http://192.168.2.10:8888/group1/M00/00/00/wKgCCmUQYGmAC88HAAAYqekVITI560.png
    在这里插入图片描述

3.3. 集群部署:

  • 集群IP地址:192.168.2.10,192.168.2.20,192.168.2.30

3.3.1. 修改hosts内容和主机名

  • 注意每台服务器都需要修改如下:
vim /etc/hosts

192.168.2.10   fastdfs.com
192.168.2.20   fastdfs2.com
192.168.2.30   fastdfs3.com


#在每台服务器执行如下命令修改主机名,注意不同服务器的网卡不同需要根据现场情况修改:
hostname `cat /etc/hosts|grep $(ifconfig ens33|grep broadcast|awk '{print $2}')|awk '{print $2}'`;su
  • 每台部署Fastdfs,这里就不重新写了,具体怎么部署可以看上面的内容

3.3.2. tracker配置

  • 每台都需要配置
vim /etc/fdfs/tracker.conf
#需要修改的内容如下
port=22122 # tracker服务器端口(默认22122,一般不修改)
base_path=/data/fastdfs # 存储日志和数据的根目录

3.3.3. storage配置

  • 每台都需要配置
vim /etc/fdfs/storage.conf
#需要修改的内容如下
port=23000 # storage服务端口(默认23000,一般不修改)
base_path=/data/fastdfs # 数据和日志文件存储根目录
store_path0=/data/fastdfs # 第一个存储目录
tracker_server=fastdfs.com:22122 # 服务器1
tracker_server=fastdfs2.com:22122 # 服务器2
tracker_server=fastdfs3.com:22122 # 服务器3
http.server_port=8888 # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)

3.3.4. 启动服务

#启动tracker服务:
/usr/bin/fdfs_trackerd  /etc/fdfs/tracker.conf
#启动storage服务:
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf

3.3.4. client 测试:

  • 在任意一台都可以测试:
vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/data/fastdfs
tracker_server=fastdfs.com:22122 # 服务器1
tracker_server=fastdfs2.com:22122 # 服务器2
tracker_server=fastdfs3.com:22122 # 服务器3

# 下载一张图片上传至/root/下
[root@fastdfs ~]# ls
28e70ebf91667f0c9b04be96bc730c49.jpeg  anaconda-ks.cfg  pcindex_small.png

#上传图片
fdfs_upload_file /etc/fdfs/client.conf  /root/28e70ebf91667f0c9b04be96bc730c49.jpeg
group1/M00/00/00/wKgCCmUWboKAJ2IPAAEnsjF1S3g58.jpeg

#任意一台验证:
ls /data/fastdfs/data/00/00/
wKgCCmUQYGmAC88HAAAYqekVITI560.png  wKgCCmUWboKAJ2IPAAEnsjF1S3g58.jpeg

3.3.5. 配置nginx访问

vim /etc/fdfs/mod_fastdfs.conf
#需要修改的内容如下
tracker_server=fastdfs.com:22122 # 服务器1
tracker_server=fastdfs2.com:22122 # 服务器2
tracker_server=fastdfs3.com:22122 # 服务器3
url_have_group_name=true
store_path0=/data/fastdfs

#配置nginx.config
vim /usr/local/nginx/conf/nginx.conf
#添加如下配置
server {
   listen 8888; ## 该端口为storage.conf中的http.server_port相同
   server_name localhost;
   location ~/group[0-9]/ {
       ngx_fastdfs_module;
    }
   error_page 500 502 503 504 /50x.html;
   location = /50x.html {
   root html;
   }
}

#启动nginx
/usr/local/nginx/sbin/nginx -s reload
ngx_http_fastdfs_set pid=25197

3.3.6. 测试刚才上传的图片

  • 打开浏览器访问:http://192.168.2.10:8888/group1/M00/00/00/wKgCCmUWboKAJ2IPAAEnsjF1S3g58.jpeg
    在这里插入图片描述

3.3. 7. 检测集群:

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
# 会显示会有几台服务器 有3台就会 显示 Storage 1-Storage 3的详细信息
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值