FastDFS分布式文件系统&Nginx负载均衡最小环境安装配置［超级详解］

最新推荐文章于 2020-04-21 21:56:09 发布

木鲸鱼

最新推荐文章于 2020-04-21 21:56:09 发布

阅读量451

点赞数

分类专栏： linux 文章标签： fastDFS

本文链接：https://blog.csdn.net/Aaron072/article/details/83068685

版权

linux 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

1、背景

FastDFS 是一款开源的、分布式文件系统（Distributed File System），由淘宝开发平台部资深架构师余庆开发。该开源项目的主页是 http://code.google.com/p/fastdfs 。可以通过 fastdfs.sourceforge.net 下载。FastDFS论坛是 http://www.csource.org ，目前是指向 ChinaUnix 开源项目孵化平台的一个板块 FastDFS，网址为 bbs.chinaunix.net/forum-240-1.html 。（摘自 http://blog.csdn.net/poechant/article/details/6977407）

2、上传流程

我们可以通过 FastDFS 对文件的上传过程，来初步了解 FastDFS 的基本架构。首先客户端 client 发起对 FastDFS 的文件传输动作，是通过连接到某一台 Tracker Server 的指定端口来实现的，Tracker Server 根据目前已掌握的信息，来决定选择哪一台 Storage Server ，然后将这个Storage Server 的地址等信息返回给 client，然后 client 再通过这些信息连接到这台 Storage Server，将要上传的文件传送到给 Storage Server上。

　　上传流程简述：

1、client询问tracker上传到的storage，不需要附加参数；
2、tracker返回一台可用的storage；
3、client直接和storage通讯完成文件上传。

　　下载流程简述：

1、client询问tracker下载文件的storage，参数为文件标识（组名和文件名）；
2、tracker返回一台可用的storage；
3、client直接和storage通讯完成文件下载。

3、架构简析

FastDFS 是包括一组 Tracker Server 和 Storage Server 的。Tracker Server 与 Storage Server 之间不直接通信，其基本的信息由配置文件在系统启动加载时获知。多台 Tracker Server 之间保证了 Tracker 的分布式，Tracker Server 之间是对等的，防止了单点故障。 Storage Server 是分成多个 Group，每个 Group 中的Storage 都是互相备份的，也就是说，如果 Group1 有 Storage1、Storage2、Storage3，其容量分别是100GB、100GB、100GB，那么 Group1 的存储能力是 100GB，而不是 300GB，这就是互相备份的意思。进一步说，整个 Group 的存储能力由该组中该储能力最小的 Storage 决定。多个 Group 之间的存储方式，可以采用 round robin（轮训）、load balanced（负载均衡）或指定 Group 的方式。

术语

FastDFS两个主要的角色：Tracker Server 和 Storage Server
Tracker Server：跟踪服务器，主要负责调度storage节点与client通信，在访问上起负载均衡的作用，和记录storage节点的运行状态，是连接client和storage节点的枢纽。
Storage Server：存储服务器，保存文件和文件的meta data（元数据）
Group：文件组，也可以称为卷。同组内服务器上的文件是完全相同的，做集群时往往一个组会有多台服务器，上传一个文件到同组内的一台机器上后，FastDFS会将该文件即时同步到同组内的其它所有机器上，起到备份的作用。
meta data：文件相关属性，键值对（Key Value Pair）方式，如：width=1024, height=768。和阿里云OSS的meta data相似。

5、安装环境准备

提示：本例安装目标为：一台虚拟机（centos 7）安装部署一个 tracker 和一个组 group1（其中包含两个 storage）

linux 基础环境：centos 7 minimal（官方历史版本：http://vault.centos.org/）

相关源码包（此处省略通过 ftp 传送源码包，有兴趣的可移步至：）

fastdfs-nginx-module_v1.16.tar.gz （nginx 依赖包https://sourceforge.net/projects/fastdfs/files/FastDFS%20Nginx%20Module%20Source%20Code/）
FastDFS_v5.05.tar.gz （本例使用5.05版本，官方历史版本：https://sourceforge.net/p/fastdfs/activity?source=project_activity）
libfastcommonV1.0.7.tar.gz（FastDFS依赖包，官方下载地址：https://sourceforge.net/projects/fastdfs/files/FastDFS%20Nginx%20Module%20Source%20Code/）
nginx-1.7.8.tar.gz
ngx_cache_purge-2.1.tar.gz （nginx 图片缓存，http://labs.frickle.com/nginx_ngx_cache_purge/）
perl-5.20.2.tar.gz（因为从 linux 系统直接下载网速太慢，所以提前准备，上传到 linux 再安装，官方历史版本下载地址：http://www.cpan.org/src/ 吐嘈一下 cnds 上的选手，源码又不是你开发的，你挂就挂吧，下载还还要积分，呵呵。）

linux 中需要事先准备相关程序（linux 联网直接安装）

　　yum -y install gcc （必须在最开始的环境里就已经安装了，否则上面的源码包安装过程会出错）

　　yum -y install gcc-c++（必须在最开始的环境里就已经安装了，否则上面的源码包安装过程会出错）

　　yum -y install vim （可选择，文本编辑器）

　　perl-5.20.2

nginx 负载均衡环境部署先的依赖程序准备

yum install gcc-c++
yum install -y pcre pcre-devel
yum install -y zlib zlib-devel
yum install -y openssl openssl-devel

6、文件夹初始化

创建 tracker 所需的文件夹 base_path:mkdir /opt/fastdfs_tracker

创建 storage所需的日志目录:mkdir /opt/fastdfs_storage_info （这个目录是用来记录 storage 同步文件的日志）

创建 storage 存储所需的文件目录:mkdir /opt/fastdfs_storage_data （此目录存储文件）

7、安装 libfastcommon-1.0.7

　　解压：tar -zxvf libfastcommonV1.0.7.tar.gz

　　进入安装文件夹：cd libfastcommon-1.0.7

　　依次执行 make 命令：./make.sh 和 ./make.sh install

　　从安装记录可以看出：安装路径为 /usr/lib64，但是FastDFS主程序设置的默认安装目录是lib目录：/usr/local/lib，所以要创建连接：

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so （先创建着，后面会使用到）
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so （先创建着，后面会使用到）

8、安装 FastDFS-5.0.5

　　解压 tar 包：tar -zxvf FastDFS_v5.05.tar.gz

　　进入安装文件夹：cd FastDFS

　　依次执行 make 命令：./make.sh 和 ./make.sh install

　　安装过程没有错误提示，再检查 /etc/fdfs 目录中是否含有以下文件，如果有则安装成功：

9、配置 tracker

　　9.1 进入 /etc/fdfs 文件夹，执行如下命令: cp tracker.conf.sample tracker.conf

　　9.2 编辑 tracker.conf 文件：vim tracker.conf

　　9.3 具体配置信息：

　　　　a. disabled=false # 启用配置文件

　　　　b. port=22122 # 设置 tracker 端口好，一般采用默认端口 22122

　　　　c. base_path=/opt/fastdfs_tracker # 设置 tracker 的数据文件和日志目录

　　　　d. http.server_port=80 # fastdfs5.0.5版本没有，保险起见，这里设置成 80 端口

　　　　其他配置信息保持默认，不用动。

　　9.4 启动 tracker： /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

　　　　检测是否启动成功：

　　　　方法1: netstat -unltp|grep fdfs ，看 22122 端口监听情况

　　　　方法2: 通过命令查看 tracker 启动日志：tail -100f /opt/fastdfs_tracker/logs/trackerd.log

　　9.5 如果成功启动 tracker，将启动命令添加到服务器的开机启动配置中：

　　　　 vim /etc/rc.d/rc.local

　　　　在文本中添加这行，并保存：/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

10、配置 stroage（和 trcker 配置类似）

　　10.1 进入 /etc/fdfs 文件夹，执行命令： cp storage.conf.sample storage.conf

　　10.2 编辑 storage.conf 文件，执行命令： vim storage.conf

　　10.3 具体配置信息：

　　　　a. disabled=false #启用配置文件
　　　　b. group_name=group1 #组名，这里本例只配置一组，所以命名为 group1
　　　　c. port=23000 #这里设置 storage 端口号，23000是默认端口，同一个组的 storage 端口号必须一致
　　　　d. base_path=/opt/fastdfs_storage_info #记录 storage 日志（预先已经创建的文件夹）
　　　　e. store_path_count=1 #存储的路径个数，个数需要和 store_path 的个数一致

　　　　f. store_path0=/opt/fastdfs_storage_data #存储路径，这里是一个 group1 组配置了两个 storage

　　　　 store_path1=/opt/fastdfs_storage_data

　　　　g. tracker_server=192.168.25.131:22122 # tracker 服务器的 ip 和端口号，本 ip 是本 linux的 ip
　　　　h. http.server_port=80 # 设置 http 端口号，fastdfs-5.0.5 这个版本已经不用配置，保险起见，就配置一下吧

　　10.4 启动 tracker：/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

　　　　检测是否启动成功：

　　　　　　方法1: netstat -unltp|grep fdfs ，看 23000 端口监听情况（配置的是什么端口就监听哪个端口）

　　　　　　方法2: 通过命令查看 tracker 启动日志：tail -100f /opt/fastdfs_storage_info/logs/storage.log

　　　　启动成功之后，可以通过 fdfs_monitor 查看集群情况：stroage 是否已经注册到服务器中：

　　　　　　/usr/bin/fdfs_monitor /etc/fdfs/storage.conf # 查看192.168.25.131:23000 是 “ ACTIVE ”状态即可

　　10.5 启动没有问题，则将 stroage 启动命令配置到服务器启动项里： vim /etc/rc.d/rc.local

　　　　添加这行命令，并保存： /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

===================================分割线====================================

以上安装配置步骤就是 fastdfs 的配置。

storage 中安装 nginx 目的是为了提供 http 的访问服务，同时解决 group 和 storage 同步延迟问题，

tracker 中安装 nginx 目的是为了提供 http 访问的反向代理、负载均衡及缓存服务。

===================================分割线====================================

11、nginx 安装前的环境准备

　　　yum install -y gcc # 前面步骤已安装，略过

　　　yum install -y gcc-c++ # 前面步骤已安装，略过

　　　yum install -y pcre pcre-devel

　　　yum install -y zlib zlib-devel　

　　　yum install -y openssl openssl-devel

12、在 storage 中安装 nginx

　　12.1 创建 nginx 默认安装文件夹： mkdir /usr/local/nginx

　　12.2 解压 tar 包：

　　　　tar -zxvf nginx1.7.8.tar.gz # 得到 nginx-1.7.8 文件目录

　　　　tar -zxvf fastdfs-nginx-module_v1.16.tar.gz # 得到 fastdfs-nginx-module 文件目录

　　12.3 修改 fastdfs-nginx-module 文件目录中的 config 文件：

　　　　 cd /fastdfs-nginx-module/src

　　　　 vim config

　　　　将 CORE_INCS中的参数路径修改一下，local 全部不要： CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

　　12.4 建立软连接，在第七步骤中已经创建，可略过：　

　　　　　　ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so （第七步骤中已经创建，可略过）

　　　　　　ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so （第七步骤中已经创建，可略过）

　　12.5 进入nginx 安装文件夹：cd nginx-1.7.8

　　　　执行命令：./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module/src

　　　　备注：执行命令中的 add-module 参数为 fastdfs-nginx-module 文件目录路径，这里是 /usr/local/src 目录下的。

　　　　命令执行完毕之后，依次执行 make 和 make install，没有错误提示表示安装成功。

　　12.6 执行命令 cd /usr/local/nginx/conf，编辑 vim nginx.conf 文件：

　　　　在 http 语句块中将 listen 修改成：listen 80;

　　　　在 server 语句块中添加：

　　　　　　location /group1/M00 {

　　　　　　　　root/fdfs/storage/data;

　　　　　　　　ngx_fastdfs_module;

　　　　　　}

　　　　注意：这里 group 组名是上面配置的 group1，要和第 10 步骤的 10.3 步骤中的配置组信息一致

　　　　如果 nginx 成功启动，浏览器不能访问，就在 nginx.conf 这个配置文件中，把第一行的注解打开，配置成：user root; 即可。

　　12.7 执行命令：cd /usr/local/rsrc/FastDFS/conf ，将 conf 文件夹目录下的 http.conf 和 mime.types 复制到 /etc/fdfs/ 下，

　　　　cp http.conf /etc/fdfs/

　　　　cp mime.types /etc/fdfs/

　　　　如果不执行这个操作，启动 nginx 会报异常

　　12.8 执行命令：cd/usr/local/rsrc/fastdfs-nginx-module/src

　　　　将 conf 文件夹下的 mod_fastdfs.conf 文件复制到 /etc/fdfs/下：cp mod_fastdfs.conf /etc/fdfs/

　　12.9 在 /etc/fdfs/ 文件目录下，打开编辑：vim mod_fastdfs.conf

　　　　a. base_path=/opt/fastdfs_storage_info # 保存日志目录

　　　　b. tracker_server=192.168.25.131:22122 # tracker的ip和端口

　　　　c. storage_server_port=23000 # storage服务器的端口号

　　　　d. group_name=group1 #当前服务器的 group名称

　　　　e. url_have_group_name= true # 文件 url中是否有 group名称

　　　　f. store_path_count=2 #存储路径个数，必须和下面的store_path个数一致

　　　　g. store_path0=/opt/fastdfs_storage_data #文件存储路径

　　　　　store_path1=/opt/fastdfs_storage_data #本例设置了两个stroage，和第 10 步骤的 10.3 步骤配置一致

　　　　h. http.need_find_content_type=true #从文件扩展名查找文件类型，这个配置 fastdfs-5.0.5没有，保险起见，还是配置吧

　　　　i. group_count= 1 # 设置组的个数这里设置了一个组 group1 所以配置为 1

　　　　j. 在配置信息的最后，将注解的 group 信息展开，这里设置的是一个组，所以只配置一个：

　　　　　　注意组的名称端口存储路径个数和存储路径

　　12.10 创建软连接： ln -s /opt/fastdfs_storage_data/data /opt/fastdfs_storage_data/data/M00

　　12.11 启动 nginx：/usr/local/nginx/sbin/nginx

　　　　提示：/usr/local/nginx/sbin/nginx -s stop # 停止nginx

　　　　检查是否启动成功：netstat -anp | grep 80，如果有宽口冲突，也可以检测到，kill -9 对应的pid 即可。

　　　　启动成功只会提示一个 pid，需要自己通过浏览器验证。

　　常见问题：

　　　　如果上面配置都完整无误，浏览器还是无法访问，则可以 ping 一下网络，再 telnet 一下端口，很有可能是防火墙的问题：

　　　　添加开放端口 firewall-cmd --zone=public --add-port=80/tcp --permanent （--permanent永久生效，没有此参数重启后失效）

　　　　删除开放端口 firewall-cmd --zone=public --remove-port=80/tcp --permanent　

　　　　添加或者删除开放端口之后需要更新防火墙规则： firewall-cmd --reload　

　　　　查看所有打开的端口： firewall-cmd --zone=public --list-ports 或者 firewall-cmd --list-services

　　　　显示防火墙状态是否运行：firewall-cmd --state 或者 systemctl status firewalld.service

用了一天时间，折腾好几次，又是重装系统又是查资料的，感觉能这么细致的讲解的真不多，于是就想把这个心得写下来，让读者们少走坑。

通过 java 代码测试一番，成功！

13、tracker 中安装 nginx

　　待续…　　　

木鲸鱼

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录