一、FastDFS 简介
1.1.什么是FastDFS
FastDFS是一个开源的轻量级分布式文件系统,主要是使用它对文件进行管理,主要用到的功能是:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
FastDFS充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
1.2.FastDFS的组成
FastDFS由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)构成。
1.2.1 Tracker server 追踪服务器
追踪服务器负责接收客户端的请求,选择合适的组合storage server ,tracker server 与 storage server之间也会用心跳机制来检测对方是否活着。
Tracker需要管理的信息也都放在内存中,并且里面所有的Tracker都是对等的(每个节点地位相等),很容易扩展
客户端访问集群的时候会随机分配一个Tracker来和客户端交互。
1.2.2 Storage server 储存服务器
实际存储数据,分成若干个组(group),实际traker就是管理的storage中的组,而组内机器中则存储数据,group可以隔离不同应用的数据,不同的应用的数据放在不同group里面。
优点:
海量的存储:主从型分布式存储,存储空间方便拓展,
fastDFS对文件内容做hash处理,避免出现重复文件
然后fastDFS结合Nginx集成, 提供网站效率。
1.2.3 客户端Client
主要是上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。每个客户端服务器都需要安装Nginx。
1.2.3.1 上传文件(写操作)
写操作的时候,storage会将他所挂载的所有数据存储目录的底下都创建2级子目录,每一级256个总共65536个,新写的文件会以hash的方式被路由到其中某个子目录下,然后将文件数据作为本地文件存储到该目录中。
1.2.3.2 下载文件(读操作)
当客户端向Tracker发起下载请求时,并不会直接下载,而是先查询storage server(检测同步状态),返回storage server的ip和端口,然后客户端会带着文件信息(组名,路径,文件名),去访问相关的storage,然后下载文件。
1.3 FastDFS路径说明
stringfast/M00/00/00/rBGdZl5ak4yAHTNeAAxv6ziU5pA742.png
- 组名(
/stringfast
):文件上传后所在的Storage组名称。在文件上传成功后由Storage 服务器返回,需要客户端自行保存。 - 虚拟磁盘路径(
/M00
):Storage配置的虚拟路径,指向Storage组中某个节点的硬盘地址。与磁盘选项store_path*对应。如果配置了store_path0则是M00,如果配置了store_path1则是M01,以此类推。 - 数据两级目录(
/00/00
):Storage服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据。该数值采用算法计算得出。 - 文件名:与文件上传时的文件名称不同。是由存储服务器根据特定信息生成,文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。
二、FastDFS 安装
2.1 拉取 FastDFS 镜像
2.1.1 查询FastDFS镜像
docker search fastdfs
2.1.2 拉取FastDFS镜像
docker pull morunchang/fastdfs
#默认拉取最新版本的
docker pull morunchang/fastdfs:1.2
#本人拉取的是1.2版本的
sudo docker login --username=白衣卿相2744 registry.cn-shanghai.aliyuncs.com
sudo docker pull registry.cn-shanghai.aliyuncs.com/dockerbin/fastdfs:[镜像版本号]
#亦可以使用阿里云的镜像
三、启动FastDFS
3.1 启动FastDFS 的 tracker 端
docker run -d --name=tracker --net=host --restart=always -v /opt/fastdfsdata/tracker/data:/data/fast_data/data morunchang/fastdfs sh tracker.sh
3.2 启动FastDFS 的 storage 端
docker run -d --name=storage --net=host --restart=always -v /opt/fastdfsdata/storage/data:/data/fast_data/data -e TRACKER_IP=[TRACKER_IP地址]:22122 -e GROUP_NAME=stringfast morunchang/fastdfs sh storage.sh
参数说明:
-d
后台运行–name
别名,格式为--name 空格 别名
或--name=别名
--net=host
网络模式,告诉容器使用主机网络堆栈--restart=always
自动重启容器,也可以启动后追加-v
挂载文件目录-e
添加到环境变量中stringfast
是组名,即Storage
的组- 如果想要增加新的
Storage
服务器,再次运行该命令,注意更换新组名
四、修改配置(严格按照参数启动,此步骤可以省略)
4.1 进入storage中
docker exec -it storage /bin/bash
4.2 配置nginx.conf
vi /etc/nginx/conf/nginx.conf
修改以下内容(一般无需修改,如果需要改端口等自行修改)
server {
listen 8080;
server_name localhost;
location / {
root html;
index index.html index.htm;
}
location ~ /M00 {
root /data/fast_data/data;
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
4.3 配置storage.conf
vi /etc/fdfs/storage.conf
# 创建storage时的ip,如果启动时带了 -e 参数,默认即可
tracker_server=[TRACKER_IP地址]:22122
#推荐与Nignx配置的端口相同
http.server_port=8080
文件位置说明:
- FastDFS文件存放位置:
/data/fast_data/data
- Nginx 配置文件位置
/etc/nginx/conf/nginx.conf
- FastDFS storage 配置文件位置
/etc/fdfs/storage.conf
2.3.4 重启容器
docker restart storage
五、追加 FastDFS 开机自启动
docker update --restart=always tracker
docker update --restart=always storage
六、开放防火墙端口或关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
七、升级nginx版本
注:不想知道过程直接看最后一步
1.进入容器
docker exec -it storage /bin/bash
#上述命令在宿主机操作,下述命令在容器里操作
2.下载nginx(根据需要选择最新版本)
cd /opt/
wget http://nginx.org/download/nginx-1.21.4.tar.gz
3.解压nginx
tar -zxvf nginx-1.21.4.tar.gz
4.隐藏nginx版本及请求头(不需要可以跳过)
详情请看 Nginx | nginx 知识归档
5.编译nginx
cd nginx-1.21.4
./configure --prefix=/etc/nginx --add-module=/data/fastdfs-nginx-module/src
make
5.nginx可执行文件测试
/opt/nginx-1.21.4/objs/nginx -t
6.nginx可执行文件替换
mv /etc/nginx/sbin/nginx /etc/nginx/sbin/nginx.old
mv /opt/nginx-1.21.4/objs/nginx /etc/nginx/sbin/nginx
chmod 755 /etc/nginx/sbin/nginx
7.重启容器
docker restart storage
8.查看效果(我去了版本号)
9.复制备用
可以替换其他环境中的nginx可执行文件
docker cp storage:/etc/nginx/sbin/nginx /opt/
10.快速导入
我把nginx执行文件上传到了阿里云oss,以后安装时,只需要在新的容器里面下载替换老的nginx执行文件,随后重启容器即可。
【点击下载成品文件】
docker exec storage wget https://*.oss-cn-shanghai.aliyuncs.com/linux_soft/nginx -o /etc/nginx/sbin/nginx
docker restart storage