Centos7下FastDFS+Nginx集群搭建（详细教程）

准备

先准备3台虚拟机：192.168.43.130（tracker，storage，跟踪服务器和存储服务器）；192.168.43.131（storage，存储服务器）；192.168.43.132（ngnix）
准备安装包：
libfastcommon-master.zip：前置安装包；
FastDFS_v5.05.tar.gz：fastdfs主要安装包（源码包）；
fastdfs-nginx-module_v1.16.tar.gz：避免同组存储服务器中同步延迟导致文件无法访问错误（在安装nginx中用到）；
nginx-1.6.2.tar.gz：nginx稳定版本源码包；
ngx_cache_purge-2.3.tar.gz：nginx缓存包（在安装nginx中用到）。

1、FastDFS 的安装（所有跟踪服务器和存储服务器均执行如下操作）

1.1、编译和安装所需的依赖：

yum install make cmake gcc gcc-c++

1.2、安装libfastcommon

1.2.1、安装libfastcommon到/usr/local/src下，解压

cd /usr/local/src/
unzip libfastcommon-master.zip
cd libfastcommon-master

1.2.2、编译、安装

./make.sh
./make.sh install

1.2.3、因为 FastDFS 主程序设置的 lib 目录是/usr/local/lib，所以需要创建软链接

 ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
 ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
 ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
 ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

1.3、安装 FastDFS

1.3.1、上传FastDFS_v5.05.tar.gz至/usr/local/src 目录，解压

cd /usr/local/src/
tar -zxvf FastDFS_v5.05.tar.gz
cd FastDFS

1.3.2、编译安装

./make.sh
./make.sh install

使用默认安装即可，安装后的相应文件与目录：

A、服务脚本在： 
/etc/init.d/fdfs_storaged 
/etc/init.d/fdfs_tracker 
B、配置文件在（样例配置文件）: 
/etc/fdfs/client.conf.sample 
/etc/fdfs/storage.conf.sample 
/etc/fdfs/tracker.conf.sample 
C、命令工具在/usr/bin/目录下的： 
fdfs_appender_test 
fdfs_appender_test1 
fdfs_append_file 
fdfs_crc32 
fdfs_delete_file 
fdfs_download_file 
fdfs_file_info 
fdfs_monitor 
fdfs_storaged 
fdfs_test 
fdfs_test1 
fdfs_trackerd 
fdfs_upload_appender 
fdfs_upload_file 
stop.sh 
restart.sh

1.3.3、因为 FastDFS 服务脚本设置的 bin 目录是/usr/local/bin，但实际命令安装在/usr/bin，可以进入 /user/bin 目录使用以下命令查看 fdfs 的相 关命令：

因此需要修改FastDFS服务脚本中相应的命令路径，也就是把/etc/init.d/fdfs_storaged和/etc/init.d/fdfs_tracker 两个脚本中的/usr/local/bin修改为/usr/bin；

vim /etc/init.d/fdfs_trackerd；
进入编辑界面后直接输入：后输入%s+/usr/local/bin+/usr/bin命令进行统一替换

注意：以上操作无论是配置 tracker 还是配置 storage 都是必须的，而 tracker 和 storage 的区别主要是在安装完 fastdfs 之后的配 置过程中。

2、配置 FastDFS 跟踪器 Tracker（192.168.43.130）

2.1、 复制配置文件

复制 FastDFS 跟踪器样例配置文件,并重命名: 
cd /etc/fdfs/
cp tracker.conf.sample tracker.conf 

2.2、编辑跟踪器配置文件

 vim /etc/fdfs/tracker.conf 

修改的内容如下：

disabled=false #启用配置文件 
port=22122 #tracker 的端口号，一般采用 22122 这个默认端口 
base_path=/fastdfs/tracker #tracker 的数据文件和日志目录 

（其它参数保留默认配置，具体配置解释请参考官方文档说明(中文转译版)：http://bbs.chinaunix.net/thread-1941456-1-1.html ）

2.3、 创建基础数据目录（参考基础目录 base_path 配置）

 mkdir -p /fastdfs/tracker

2. 4、 防火墙中打开跟踪器端口（默认为 22122）

firewall-cmd --zone=public --add-port=22122/tcp --permanent
firewall-cmd --reload

2. 5、 启动 Tracker

/etc/init.d/fdfs_trackerd start 

（初次成功启动，会在/fastdfs/tracker 目录下创建 data、logs 两个目录）可以通过以下两个方法查看 tracker 是否启动成功:

2.5.1、查看 22122 端口监听情况

netstat -unltp|grep fdfs 

2.5.2、通过以下命令查看 tracker 的启动日志，看是否有错误

tail -100f /fastdfs/tracker/logs/trackerd.log 

2.6、 关闭 Tracker

/etc/init.d/fdfs_trackerd stop 

2.7、 设置 FastDFS 跟踪器开机启动

vim /etc/rc.d/rc.local 

添加以下内容：

##FastDFS Tracker
/etc/init.d/fdfs_trackerd start

3、配置 FastDFS 存储（storage）（192.168.43.130,192.168.43.131）

3.1、 复制 FastDFS 存储器样例配置文件,并重命名:

cd /etc/fdfs/ 
cp storage.conf.sample storage.conf

3.2、编辑存储器样例配置文件

vim /etc/fdfs/storage.conf

修改的内容如下:

disabled=false #启用配置文件 
group_name=group1 #组名（第一组为 group1，第二组为 group2）
 port=23000 #storage 的端口号,同一个组的 storage 端口号必须相同 
base_path=/fastdfs/storage #设置 storage 的日志目录 
store_path0=/fastdfs/storage #存储路径 
store_path_count=1 #存储路径个数，需要和 store_path 个数匹配 
tracker_server=192.168.43.130:22122 #tracker 服务器的 IP 地址和端口 (多个 tracker 直接添加多条配置 )
http.server_port=8888 #设置 http 端口号 

（其它参数保留默认配置，具体配置解释请参考官方文档说明(中文转译版)： http://bbs.chinaunix.net/thread-1941456-1-1.html ）

3.3、 创建基础数据目录（参考基础目录 base_path 配置）(这里是直接放在了根目录下):

mkdir -p /fastdfs/storage

3.4、 防火墙中打开存储器端口（默认为 23000）:

firewall-cmd --zone=public --add-port=23000/tcp --permanent
firewall-cmd --reload

3.5、 启动 Storage：

/etc/init.d/fdfs_storaged start

（和tracker类似，初次成功启动，会在/fastdfs/storage 目录下创建数据目录 data 和日志目录 logs）
注：在所有storage都启动过后，可以在任意一个storage节点上使用如下命令查看集群信息：

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

3.6、 关闭 Storage：

/etc/init.d/fdfs_storaged stop 

3.7、 设置 FastDFS 存储器开机启动

 vim /etc/rc.d/rc.local 

添加：

 ## FastDFS Storage 
/etc/init.d/fdfs_storaged start

4、文件上传测试（192.168.43.130）

4.1、修改 Tracker 服务器中的客户端配置文件：

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf 
vim /etc/fdfs/client.conf  然后修改下列配置
base_path=/fastdfs/tracker
tracker_server=10.138.113.34:22122 （有多个tracker可以直接再写一个）

4.2、执行如下文件上传命令：

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/FastDFS_v5.05.tar.gz
会返回一个路径

5、在各存储节点上安装nginx（192.168.43.130,192.168.43.131）

5.1、fastdfs-nginx-module 作用说明

FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储，但是同组存储服务器之间需要进入文件复制，有同步延迟的问题。
假设Tracker 服务器将文件上传到了192.168.43.130，上传成功后文件 ID 已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步 到同组存储 192.168.43.131，在文件还没有复制完成的情况下，客户端如果用这个文件 ID 在192.168.43.131 上取文件,就会出现文件无法访问 的错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。
（解压后的 fastdfs-nginx-module 在 nginx 安装时使用）

5.2、上传 fastdfs-nginx-module_v1.16.tar.gz 到/usr/local/src，解压

cd /usr/local/src/
tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

5.3、修改 fastdfs-nginx-module 的 config 配置文件

vim /usr/local/src/fastdfs-nginx-module/src/config 
将CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/" 
修改为：CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/" 
就是把里面的/usr/local/include替换为/usr/include

注：这个路径修改是很重要的，不然在 nginx 编译的时候会报错

5.4、上传当前的稳定版本 Nginx(nginx-1.6.2.tar.gz)到/usr/local/src 目录

5.5、安装编译 Nginx 所需的依赖包

yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-develzlib zlib-devel openssl openssl-devel

5.6、编译安装 Nginx（内添加 fastdfs-nginx-module 模块）

cd /usr/local/src/ 
tar -zxvf nginx-1.6.2.tar.gz
cd nginx-1.6.2
./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module/src 
make && make install

5.7、复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录，并修改

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vim /etc/fdfs/mod_fastdfs.conf

修改其中配置如下：

connect_timeout=10 
base_path=/tmp 
tracker_server=192.168.43.130（如有多个可以直接添加）
storage_server_port=23000 
group_name=group1
url_have_group_name = true 
store_path0=/fastdfs/storage 
group_count = 1（如果有第二组则将1改成2）
[group1] 
group_name=group1 
storage_server_port=23000 
store_path_count=1 
store_path0=/fastdfs/storage 
#[group2] （如果有第二组则将注释去掉）
#group_name=group2 
#storage_server_port=23000 
#store_path_count=1 
#store_path0=/fastdfs/storage

5.8、复制 FastDFS 的部分配置文件到/etc/fdfs 目录

cd /usr/local/src/FastDFS/conf
cp http.conf mime.types /etc/fdfs/

5.9、在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录

ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

5.10、配置 Nginx，简洁版 nginx 配置样例：

vim /usr/local/nginx/conf/nginx.conf

user root;
worker_processes 8;
 events{ 
    worker_connections 102400;
 }
 http { 
    include mime.types;
    default_type application/octet-stream; 
    sendfile on; 
   keepalive_timeout 65;
   server {
         listen 8888;
         server_name localhost;
         location ~/group([0-9])/M00 { 
                #alias /fastdfs/storage/data;
                ngx_fastdfs_module; 
                } 
        error_page 500 502 503 504 /50x.html;
        location = /50x.html { 
                    root html; 
                    } 
     } 
}

注：
A、8888 端口值是要与/etc/fdfs/storage.conf 中的 http.server_port=8888 相对应，因为 http.server_port 默认为 8888,如果想改成 80，则要对 应修改过来。
B、Storage 对应有多个 group 的情况下，访问路径带 group 名，如/group1/M00/00/00/xxx，对应的 Nginx 配置为： location ~/group([0-9])/M00 { ngx_fastdfs_module; }
C、如查下载时如发现老报 404，将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。

5.11、防火墙中打开 Nginx 的 8888 端口

firewall-cmd --zone=public --add-port=8888/tcp --permanent
firewall-cmd --reload

5.12、启动nginx

/usr/local/nginx/sbin/nginx
（重启 Nginx 的命令为：/usr/local/nginx/sbin/nginx -s reload）

5.13、通过浏览器访问测试时上传的文件，基本结构为：

http://192.168.43.130:8888/group1/M00/00/00/wKgrgl3keOiAZ0vLAAVFOL7FJU4.tar.gz

6、在代理（192.168.43.132）上安装 Nginx

6.1、安装编译 Nginx 所需的依赖包

yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-develzlib zlib-devel openssl openssl-devel

6.2、上传 ngx_cache_purge-2.3.tar.gz 到/usr/local/src，解压

cd /usr/local/src/
tar -zxvf ngx_cache_purge-2.3.tar.gz

6.3、上传当前的稳定版本 Nginx(nginx-1.6.2.tar.gz)到/usr/local/src 目录

6.4、编译安装nginx（添加ngx_cache_purge模块）

cd /usr/local/src/
tar -zxvf nginx-1.6.2.tar.gz 
cd nginx-1.6.2 
./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/ngx_cache_purge-2.3 
make && make install

6.5、配置nginx，设置负载均衡以及缓存

vim /usr/local/nginx/conf/nginx.conf

#user nobody; 
worker_processes 16; 
#error_log logs/error.log; 
#error_log logs/error.log notice; 
#error_log logs/error.log info; 
#pid logs/nginx.pid; 
events { worker_connections 102400; } 
http { 
include mime.types; 
default_type application/octet-stream; 
#log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $body_bytes_sent "$http_referer" ' # '"$http_user_agent" "$http_x_forwarded_for"'; 
#access_log logs/access.log main; 
sendfile on; 
#tcp_nopush on; 
#keepalive_timeout 0; 
keepalive_timeout 65; 
#gzip on; 
server_names_hash_bucket_size 128; 
client_header_buffer_size 32k; 
large_client_header_buffers 4 32k; 
client_max_body_size 300m; 
proxy_redirect off; 
proxy_set_header Host $http_host; 
proxy_set_header X-Real-IP $remote_addr; 
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; 
proxy_connect_timeout 90; 
proxy_send_timeout 90; 
proxy_read_timeout 90; 
proxy_buffer_size 16k; 
proxy_buffers 4 64k; 
proxy_busy_buffers_size 128k; 
proxy_temp_file_write_size 128k; 
proxy_cache_path /fastdfs/cache/nginx/proxy_cache levels=1:2 
keys_zone=http-cache:200m max_size=1g inactive=30d; 
proxy_temp_path /fastdfs/cache/nginx/proxy_cache/tmp; 

##FastDFS Tracker 

Proxy upstream fdfs_group1 { 
server 192.168.43.130:8888 weight=1 max_fails=2 fail_timeout=30s; 
} 

##图片服务 
server { 
listen 9005; 
server_name localhost; 
#charset koi8-r; 
#access_log logs/host.access.log main; 
location / { root html; index index.html index.htm; } 
#error_page 404 /404.html; 
#redirect server error pages to the static page /50x.html error_page 500 502 503 504 /50x.html; 
location = /50x.html { root html; } 

##FastDFS Proxy 

location /group1/M00 { 
proxy_next_upstream http_502 http_504 error timeout invalid_header; 
proxy_cache http-cache; 
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_group1; expires 30d; 
} 
location /group2/M00 { 
proxy_next_upstream http_502 http_504 error timeout invalid_header; 
proxy_cache http-cache; proxy_cache_valid 200 304 12h; 
proxy_cache_key $uri$is_args$args; 
proxy_pass http://fdfs_group2; expires 30d; 
} 
} 
}

按以上 nginx 配置文件的要求，创建对应的缓存目录：

mkdir -p /fastdfs/cache/nginx/proxy_cache 
mkdir -p /fastdfs/cache/nginx/proxy_cache/tmp

6.6、系统防火墙打开对应的端口

firewall-cmd --zone=public --add-port=8888/tcp --permanent
firewall-cmd --zone=public --add-port=9005/tcp --permanent
firewall-cmd --reload

6.7、启动 Nginx

/usr/local/nginx/sbin/nginx 
重启 Nginx 
/usr/local/nginx/sbin/nginx -s reload 
设置 Nginx 开机启动 
vim /etc/rc.local 
加入：/usr/local/nginx/sbin/nginx

6.8、文件访问测试

测试文件是否能够正常访问，结构为：
http://192.168.43.132:9005/group1/M00/00/00/wKgrg13mLWOAN4SSAAAEft7C_HI105.txt
http://192.168.43.130:8888/group1/M00/00/00/wKgrg13mLWOAN4SSAAAEft7C_HI105.txt