FastDFS集群部署
服务器规划：
192.168.174.10 跟踪服务器（Tracker Server ）1【主机】 、存储服务器1（Storage Server） group 1
192.168.174.11 存储服务器2（Storage Server） group 1
192.168.174.12 跟踪服务器（Tracker Server ）2【备机 】 、存储服务器3（Storage Server） group 2
192.168.174.13 存储服务器4（Storage Server） group 2
安装包： 将压缩包解压到/usr/local/src目录下
- FastDFS_v5.08.tar.gz：FastDFS源码
- libfastcommon-master.zip：（从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库）
- fastdfs-nginx-module_v1.16.tar.gz：storage节点http服务nginx模块
- nginx-1.6.3.tar.gz：Nginx安装包
- ngx_cache_purge-2.3.tar.gz：图片缓存清除Nginx模块（集群环境会用到）
一、所有的Tracker和Storage节点都执行一下操作：
1.安装所需要的依赖包
yum install make cmake gcc gcc-c++
yum install vim-enhanced 之所以安装vim是因为安装vim会自动帮我们安装perl，否则我们使用./make.sh来编译的时候会报错
yum install zip unzip 解压zip文件
2.安装libfatscommon
cd /usr/local/src
unzip libfastcommon-master.zip
cd libfastcommon-master
## 编译、安装
./make.sh
./make.sh install
接着再创建三条软链接，命令依次如下：
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
创建完软链接之后，我们再查看软链接，发现有一条软链接是红色的，一闪一闪的，这是由于fastclient还未安装造成的，随着后续的安装，这个报警会自动消失
3、安装FastDFS
cd /usr/local/src
tar -xzvf FastDFS_v5.08.tar.gz
cd FastDFS
./make.sh
./make.sh install
因为FastDFS服务脚本设置的bin目录为/usr/local/bin/下,但是实际我们安装在了/usr/bin/下面。所以我们需要修改FastDFS配置文件中的路径，也就是需要修改俩个配置文件
vim /etc/init.d/fdfs_storaged输入一个":"，然后输入全局替换命令：%s+/usr/local/bin+/usr/bin并按回车即可完成替换，替换完之后，保存退出该文件，然后再打开看一下是否都已经将/usr/local/bin替换成/usr/bin了。
同样的步骤，输入第二条命令：vim /etc/init.d/fdfs_trackerd 进行全局替换，替换命令：%s+/usr/local/bin+/usr/bin
采用默认安装方式，相应的文件与目录检查如下：
1> 服务脚本：
ll /etc/init.d/
/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd
2> 配置文件（示例配置文件）：
ll /etc/fdfs/
-rw-r--r-- 1 root root 1461 1月 4 14:34 client.conf.sample
-rw-r--r-- 1 root root 7927 1月 4 14:34 storage.conf.sample
-rw-r--r-- 1 root root 7200 1月 4 14:34 tracker.conf.sample
3> 命令行工具（/usr/bin目录下）
ll /usr/bin/fdfs_*
-rwxr-xr-x 1 root root 260584 1月 4 14:34 fdfs_appender_test
-rwxr-xr-x 1 root root 260281 1月 4 14:34 fdfs_appender_test1
-rwxr-xr-x 1 root root 250625 1月 4 14:34 fdfs_append_file
-rwxr-xr-x 1 root root 250045 1月 4 14:34 fdfs_crc32
-rwxr-xr-x 1 root root 250708 1月 4 14:34 fdfs_delete_file
-rwxr-xr-x 1 root root 251515 1月 4 14:34 fdfs_download_file
-rwxr-xr-x 1 root root 251273 1月 4 14:34 fdfs_file_info
-rwxr-xr-x 1 root root 266401 1月 4 14:34 fdfs_monitor
-rwxr-xr-x 1 root root 873233 1月 4 14:34 fdfs_storaged
-rwxr-xr-x 1 root root 266952 1月 4 14:34 fdfs_test
-rwxr-xr-x 1 root root 266153 1月 4 14:34 fdfs_test1
-rwxr-xr-x 1 root root 371336 1月 4 14:34 fdfs_trackerd
-rwxr-xr-x 1 root root 251651 1月 4 14:34 fdfs_upload_appender
-rwxr-xr-x 1 root root 252781 1月 4 14:34 fdfs_upload_file
下面的按照各个服务器的作用配置
二、配置tracker服务器
tracker服务器两台192.168.174.10（主机）、192.168.174.11（备机）都要配置
1、配置tracker.conf配置文件
①复制tracker样例配置文件，并重命名
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
②编辑配置文件
vim /etc/fdfs/tracker.conf
# 修改的内容如下：
disabled=false # 启用配置文件
port=22122 # tracker服务器端口（默认22122）
base_path=/fastdfs/tracker # 存储日志和数据的根目录
store_lookup=0 #现在把它修改为0（即轮询策略，修改成这样方便一会儿我们进行测试，当然，最终还是要改回到2的。如果值为1的话表明要始终向某个group进行上传下载操作）0:轮询方式 1: 指定组 2: 平衡负载(选择最大剩余空间的组上传)。默认是选择最大剩余空间。
store_group=group1 #当上一个参数设定为1 时 (store_lookup=1，即指定组名时)，必须设置本参数为系统中存在的一个组名。如果选择其他的上传方式，这个参数就没有效了。
由于192.168.174.10和192.168.174.11的tracker配置是一样的，因此我们只需要将192.168.174.10上配置好的tracker.conf文件复制一份到192.168.174.11上。使用的命令：scp tracker.conf root@192.168.174.11:/etc/fdfs/
由于我们给base_path配置的路径/fastdfs/tracker当前并不存在，因此我们需要在192.168.156.10和192.168.156.11上创建一下该目录
创建命令：mkdir -p /fastdfs/tracker
2、配置防火墙
①直接关闭防火墙也是ok的
启动： systemctl start firewalld
关闭： systemctl stop firewalld
查看状态： systemctl status firewalld
开机禁用 ： systemctl disable firewalld
开机启用 ： systemctl enable firewalld
②在192.168.174.10和192.168.174.11这两台设备上配置一下防火墙，添加端口22122，从而可以让其它设备可以访问22122端口。
命令：vim /etc/sysconfig/iptables
（新安装的Centos7可能没有iptables这个文件，百度解决）
添加的内容：-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT
重启防火墙：systemctl restart iptables或者systemctl restart iptables.service
3、启动tracker
命令：/etc/init.d/fdfs_trackerd start
启动之后，我们再查看该目录，发现多了两个目录data和logs，我们可以通过命令：ps -ef | grep fdfs来查看tracker是否正常启动
三、配置storage
按照我们的规划，192.168.174.10、192.168.174.11、192.168.174.12、192.168.174.13四台虚拟机将作为我们的存储节点，四个节点中同一组的配置应该是相同的，也就是192.168.174.10、192.168.174.11一组（组名为group1），192.168.174.12、192.168.174.13一组（组名为group2）
1、配置storage.conf配置文件
①复制storage样例配置文件，并重命名
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
②编辑配置文件
vi /etc/fdfs/storage.conf
# 修改的内容如下:
disabled=false # 启用配置文件
port=23000 # storage服务端口
group_name=group1 # 10、11属于group1,12、13服务器属于group2
base_path=/fastdfs/storage # 数据和日志文件存储根目录
store_path0=/fastdfs/storage # 第一个存储目录
tracker_server=192.168.174.10:22122 # tracker服务器IP和端口
tracker_server=192.168.174.12:22122 #tracker服务器IP2和端口
③创建基础数据目录
mkdir -p /fastdfs/storage
④防火墙中打开storage服务器端口（ 默认为 23000）
vim /etc/sysconfig/iptables
#添加如下端口行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT
重启防火墙
service iptables restart
2、启动storage服务器
/etc/init.d/fdfs_storaged start
初次启动，会在/fastdfs/storage目录下生成logs、data两个目录。
drwxr-xr-x 259 root root 4096 Mar 31 06:22 data
drwxr-xr-x 2 root root 4096 Mar 31 06:22 logs
命令：tailf logs/storaged.log来查看启动信息，可以发现此服务器已经与两个tracker设备连接
四、文件上传测试
1、修改两台Tracker服务器客户端配置文件
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
# 修改以下配置，其它保持默认
base_path=/fastdfs/tracker
tracker_server=192.168.174.10:22122 # tracker服务器IP和端口
tracker_server=192.168.174.12:22122 #tracker服务器IP2和端口
2、执行文件上传命令
#/usr/local/src/test.png 是需要上传文件路径
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.png
返回文件ID号：group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png
五、在所有storage节点安装fastdfs-nginx-module
1、fastdfs-nginx-module 作用说明
FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储,但是同组存储服务器之间需要进入文件复制,有同步延迟的问题。假设 Tracker 服务器将文件上传到了 ip01,上传成功后文件 ID 已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 ip02,在文件还没有复制完成的情况下,客户端如果用这个文件 ID 在 ip02 上取文件,就会出现文件无法访问的错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。(解压后的 fastdfs-nginx-module 在 nginx 安装时使用)
2、解压 fastdfs-nginx-module_v1.16.tar.gz
cd /usr/local/src
tar -xzvf fastdfs-nginx-module_v1.16.tar.gz
3、修改 fastdfs-nginx-module 的 config 配置文件
cd fastdfs-nginx-module/src
vim config
将
CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"
修改为:
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
4、安装编译 Nginx 所需的依赖包
yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel
5、编译安装 Nginx (添加 fastdfs-nginx-module 模块)
cd /usr/local/src/
tar -zxvf nginx-1.6.3.tar.gz
tar –zxvf ngx_cache_purge_2.3.tar.gz
cd nginx-1.10.0
./configure --prefix=/opt/nginx --add-module=/usr/local/src/fastdfs-nginx-module/src --add-module=/usr/local/src/ngx_cache_purge-2.3
make && make install
7、复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录,并修改
复制代码
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vi /etc/fdfs/mod_fastdfs.conf
修改以下配置:
connect_timeout=10
tracker_server=192.168.174.10:22122
tracker_server=192.168.174.12:22122
storage_server_port=23000//默认就是2300，不用做修改
url_have_group_name=true
store_path0=/fastdfs/storage
group_name=group1
group_count=2
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage
8、复制 FastDFS 的部分配置文件到/etc/fdfs 目录
cd /usr/local/src/FastDFS/conf
cp http.conf mime.types /etc/fdfs/
9、在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录
ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00
10、配置 Nginx
user nobody;
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
server {
listen 8888;
server_name localhost;
location ~/group([1-9])/M00 {
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
1418
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
