一、FastDFS是什么？
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
二、为什么会突然选择使用FastDFS?
由于公司新接手一项目，主要是以图片存储为主，图片基础数据有30TB，本博主常年使用Hadoop作为数据存储组件，第一时间肯定会想到使用Hadoop存储，但是Hadoop存储会有弊端，如果不做计算，一个文件数据太大，会对当前文件进行疯狂拆分，并且HDFS文件默认为128M一个，如果一个图片文件12G，Hadoop会对当前文件进行切分96份，就算存储成功，在文件读取的时候，会非常困难，博主始终认为每一个技术都有每一个特点，于是想到几年前考资料看到的目前几种分布式大数据存储服务：
| Hadoop的HDFS | 专针对大型文本文件的分布式存储服务，对文件切片存储，可用于分布式计算 |
| Mongo的GridFS | 专针对小型文件的分布式存储，可用于分布式计算 |
| 阿里的FastDFS | 专针对图片，视频存储服务，对文件不切片（FastDFS是由淘宝架构师开发的，和FastJson一样，同属与阿里的产物） |
综上所述，博主选择FastDFS做为本次系统的存储组件，走上FastDFS的采坑之路。
备注：（FastDFS作者停止更新维护很久了，今天突然发现，像Dubbo一样开始重新维护了）
总结：用途不一样，每一项技术都有自己的长处和短处。
三、详细介绍FastDFS服务中的重要组件
FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key value pair）方式表示，如：width=1024，其中的key为width，value为1024。文件meta data是文件属性列表，可以包含多个键值对。
FastDFS系统结构如下图所示：
由上图可见，Tracker（跟踪器）为集群状态，然后storage（存储点）同样为集群状态。
当然如果访问量在不大的情况下，资源服务器不够情况下，实际3台服务器够用
①、跟踪服务器和存储节点都可以由一台多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。
②、为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷 的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起 到了冗余备份和负载均衡的作用。
③、在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。
④、当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。
FastDFS中的文件标识分为两个部分：卷名和文件名，者缺一不可
四、上传交互过程（简述如下）
1. client询问tracker上传到的storage，不需要附加参数
2. tracker返回一台可用的storage
3. client直接和storage通讯完成文件上传
五、下载交互过程（简述如下）
1. client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；
2. tracker返回一台可用的storage；
3. client直接和storage通讯完成文件下载。
六、环境准备工作：
七、FastDFS搭建工具下载
作者的GitHub地址：https://github.com/happyfish100
这次搭建的所有工具，都可以在上面找到。
重要说明
FastDFS的Version 5.11对应的fastdfs-nginx-module的Version 1.20
Version的Version 5.10对应的fastdfs-nginx-module的Version 1.19GitHub下载说明：
八、博主资源提供
本博主上传此次所有资源,避免版本问题
链接：https://pan.baidu.com/s/18hSuThQLXWQWYF_S8basWA
提取码：8vk5 九、FastDFS集群服务组件分配
| 服务器IP | 组件 | 对应版本的压缩包 |
| 192.168.1.143 | Tracker | fastdfs-5.11.tar.gz,libfastcommon-1.0.36.tar.gz,nginx-1.16.0.tar.gz,nginx-upstream-fair-master,ngx_cache_purge-2.3.zip |
| 192.168.1.145 | Storage-01 | fastdfs-5.11.tar.gz,libfastcommon-1.0.36.tar.gz,nginx-1.16.0.tar.gz,fastdfs-nginx-module-1.20.tar.gz |
| 192.168.1.149 | Storage-02 | fastdfs-5.11.tar.gz,libfastcommon-1.0.36.tar.gz,nginx-1.16.0.tar.gz,fastdfs-nginx-module-1.20.tar.gz |
将从百度云盘上下载的文件上传的Linux服务器，某一个文件夹下，本博主放在/liuwunan下
十、安装Tracker节点
10.1、确认是否安装gcc，若未安装按照以下命令使用yum进行安装
yum -y install gcc automake autoconf libtool make
yum install gcc gcc-c++10.2、安装libfastcommon-1.0.36工具包（三台机器都要操作）
tar -zxvf libfastcommon-1.0.36.tar.gz
重命名
mv libfastcommon-1.0.36 libfastcommon
cd libfastcommon
./make.sh
./make.sh install
创建软连接
libfastcommon默认会被安装到/usr/lib64/libfastcommon.so但是FastDFS的主程序却在/usr/local/lib目录下 ,这个时候我们就要建立一个软链接了，实际上也相当于windows上的快捷方式。
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so10.3、在192.168.1.143上安装FastDFS的Tracker，使用fastdfs-5.11.tar.gz压缩包。
安装Tracker：
解压
tar -zxvf fastdfs-5.11.tar.gz
重命名
mv fastdfs-5.11 fastdfs
cd fastdfs
运行make.sh，确认make成功。期间如果有错误，可能会是少量依赖的问题，需安装后再次make。
./make.sh
运行make.sh install，
./make.sh install
确认安装成功后.......
拷贝解压缩后的所有配置文件
cd /liuwunan/fastdfs/conf
cp * /etc/fdfs/
至此tracker安装完成10.4、在192.168.1.143上配置已经安装的Tracker服务
配置Tracker：
修改/etc/fdfs/文件目录下的tracker.conf配置，设置相关信息
vi /etc/fdfs/tracker.conf
一般只需加上以下几个参数即可：
disabled=false #启用配置文件
port=22122 #设置tracker的端口号
base_path=/liuwunan/fastdfs/tracker_data #设置tracker的数据文件和日志目录（需预先创建）
http.server_port=8080 #设置http端口号10.5、运行Tracker节点
运行tracker之前，先要把防火墙中对应的端口打开（本例中为22122）,同样可以直接关闭防火墙
[root@tracker fastdfs]# iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport 22122 -j ACCEPT
[root@tracker fastdfs]# /etc/init.d/iptables save
iptables：将防火墙规则保存到 /etc/sysconfig/iptables：[确定]
启动tracker，确认启动是否成功。（查看是否对应端口22122是否开始监听）
[root@tracker fastdfs]# /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
[root@tracker fastdfs]# netstat -unltp | grep fdfs
tcp 0 0.0.0.0:22122 0.0.0.0:* LISTEN 1766/fdfs_trackerd
也可查看tracker的日志是否启动成功或是否有错误。
cat /liuwunan/fastdfs/tracker_data/logs/trackerd.log
设置开机自动启动。
vi /etc/rc.d/rc.local
将运行命令行添加进文件：
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart十一、安装Storage存储节点
11.1、安装Storage：
在192.168.1.145上安装FastDFS存储，使用fastdfs-5.11.tar.gz源代码包。
使用tar命令解压
[root@host-192-168-1-145 liuwunan]# tar -zxvf fastdfs-5.11.tar.gz
[root@host-192-168-1-145 liuwunan]# mv fastdfs-5.11 fastdfs
[root@host-192-168-1-145 liuwunan]# cd fastdfs
运行make.sh，确认成功
[root@host-192-168-1-145 liuwunan]# ./make.sh
运行make.sh install，确认安装成功。
[root@host-192-168-1-145 liuwunan]# ./make.sh install
安装完成
把/liuwunan/fastdfs/conf目录下的所有的配置文件都复制到/etc/fdfs/下
cd /liuwunan/fastdfs/conf
cp * /etc/fdfs/
至此存储安装完成。11.2、配置Storage：
编辑/etc/fdfs/文件目录下的storage.conf下配置，设置相关信息并保存。
vi /etc/fdfs/storage.conf
一般只需加上以下几个参数即可：
disabled=false #启用配置文件
group_name=group1 #组名，根据实际情况修改
port=23000 #设置storage的端口号
base_path=/liuwunan/fastdfs/storage_data #设置storage的日志目录（需预先创建）
store_path_count=1 #存储路径个数，需要和store_path个数匹配
store_path0=/fdfs/storage #存储路径
tracker_server=172.16.1.202:22122 #tracker服务器的IP地址和端口号
http.server_port=8080 #设置http端口号
运行
运行存储之前，先要把防火墙中对应的端口打开（本例中为23000），同样可以关闭防火墙
iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport 23000 -j ACCEPT
/etc/init.d/iptables save
iptables：将防火墙规则保存到 /etc/sysconfig/iptables：[确定]
启动存储，会根据配置文件的设置自动创建多级存储目录，确认启动是否成功。（查看是否对应端口23000是否开始监听）
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
检查是否运行
[root@host-192-168-1-145 fastdfs]# netstat -unltp | grep fdfs
tcp 0 0 0.0.0.0:23000 0.0.0.0:* LISTEN 6768/fdfs_storaged
也可查看存储的日志
more /liuwunan/fastdfs/storage_data/logs/storaged.log11.3、运行fdfs_monitor查看存储服务器是否已经登记到tracker服务器
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
[root@host-192-168-1-145 ~]# /usr/bin/fdfs_monitor /etc/fdfs/storage.conf
[2020-02-05 22:23:04] DEBUG - base_path=/liuwunan/fastdfs/storage_data, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0
server_count=1, server_index=0
tracker server is 192.168.1.143:22122
group count: 1
Group 1:
group name = group1
disk total space = 81908 MB
disk free space = 80394 MB
trunk free space = 0 MB
storage server count = 2
active server count = 2
storage server port = 23000
storage HTTP port = 8080
store path count = 1
subdir count per path = 256
current write server index = 1
current trunk file id = 0
Storage 1:
id = 192.168.1.145
ip_addr = 192.168.1.145 (Storaged-01) ACTIVE
http domain =
version = 5.11
join time = 2020-02-05 12:16:08
up time = 2020-02-05 12:16:08
total storage = 81908 MB
free storage = 80406 MB
upload priority = 10
store_path_count = 1
subdir_count_per_path = 256
storage_port = 23000
storage_http_port = 8080
current_write_path = 0
source storage id =
if_trunk_server = 0
connection.alloc_count = 256
connection.current_count = 1
connection.max_count = 2
total_upload_count = 1
success_upload_count = 1
total_append_count = 0
success_append_count = 0
total_modify_count = 0
success_modify_count = 0
total_truncate_count = 0
success_truncate_count = 0
total_set_meta_count = 0
success_set_meta_count = 0
total_delete_count = 0
success_delete_count = 0
total_download_count = 0
success_download_count = 0
total_get_meta_count = 0
success_get_meta_count = 0
total_create_link_count = 0
success_create_link_count = 0
total_delete_link_count = 0
success_delete_link_count = 0
total_upload_bytes = 309910
success_upload_bytes = 309910
total_append_bytes = 0
success_append_bytes = 0
total_modify_bytes = 0
success_modify_bytes = 0
stotal_download_bytes = 0
success_download_bytes = 0
total_sync_in_bytes = 0
success_sync_in_bytes = 0
total_sync_out_bytes = 0
success_sync_out_bytes = 0
total_file_open_count = 1
success_file_open_count = 1
total_file_read_count = 0
success_file_read_count = 0
total_file_write_count = 2
success_file_write_count = 2
last_heart_beat_time = 2020-02-05 22:22:43
last_source_update = 2020-02-05 16:40:42
last_sync_update = 1970-01-01 08:00:00
last_synced_timestamp = 1970-01-01 08:00:00 11.4、设置开机自启:
看到 192.168.1.145 ACTIVE 可立即确认存储运行正常。
设置启动自动启动
vi /etc/rc.d/rc.local
将运行命令行添加进文件：
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
注意配置文件中组名参数需要根据实际情况进行调整，本例中组是这样分配的：
group1：192.168.1.145，192.168.1.149
每个组中所有存储的端口号必须一致。十二、在存储服务器192.168.1.145上安装nginx
在存储服务器192.168.1.145上安装nginx
在存储上安装的nginx主要为了提供http的访问服务，同时解决组中存储服务器的同步延迟问题。
安装
首先在192.168.1.145上安装nginx，使用nginx-1.16.0.tar.gz源代码包以及FastDFS的nginx插件fastdfs-nginx-module-1.20.tar.gz
解压
tar -zxvf nginx-1.16.0.tar.gz
tar -zxvf fastdfs-nginx-module-1.20.tar.gz
重命名
mv nginx-1.16.0.tar.gz nginx-1.16.0
mv fastdfs-nginx-module-1.20 fastdfs-nginx-module
如果提示错误，可能会使依赖的一部分，需先安装依赖包
yum install pcre-devel
yum install make zlib zlib-devel gcc-c++ libtool12.1、修改vi /liuwunan/fastdfs-nginx-module/src/config的配置修改为下面的路径
将 /usr/include/fastcommon/ 这一路径，添加到下图两个地方
12.2、再次运行编译
[root@host-192-168-1-145 nginx]# ./configure --add-module=/liuwunan/fastdfs-nginx-module/src #此处fastdfs-nginx-module为fastdfs-nginx-module-1.20.tar.gz解压包后的src路径12.3、安装Nginx
运行make进行编译，安装，确保编译，安装成功。
make
make install
将FastDFS的nginx插件模块的配置文件复制到FastDFS配置文件目录。
cp /liuwunan/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
安装完成后，nginx所有文件在/ usr / local / nginx下：
[root@host-192-168-1-145 src]# ll /usr/local/nginx/
drwxr-xr-x. 2 root root 4096 2月 26 03:11 conf
drwxr-xr-x. 2 root root 4096 2月 26 03:11 html
drwxr-xr-x. 2 root root 4096 2月 26 03:11 logs
drwxr-xr-x. 2 root root 4096 2月 26 03:11 sbin
至此nginx以及FastDFS的nginx插件模块安装完成12.4、配置Storaged的Nginx服务
编辑/usr/local/nginx/conf配置文件目录下的nginx.conf,设置添加存储信息并保存。
vi /usr/local/nginx/conf/nginx.conf
将服务器段中的listen端口号替换8080：
listen 8080;
在服务器段中添加：
location ~/group1/M00 {
#此处目录为存储节点时创建的storage_data目录的下一层目录，本博客的十一、安装Storage存储节点配置文件时创建
root /liuwunan/fastdfs/storage_data/data;
ngx_fastdfs_module;
}12.5、本博主的Nginx的关键配置文件如下：
12.6、配置Storaged的fastdfs-nginx-module的配置
进入/root/fastDFS/fastdfs-nginx-module/src拷贝mod_fastdfs.conf到/etc/fdfs下
cd /liuwunan/fastdfs/fastdfs-nginx-module/src
cp mod_fastdfs.conf /etc/fdfs
编辑/etc/fdfs配置文件目录下的mod_fastdfs.conf,设置存储信息并保存。
vi /etc/fdfs/mod_fastdfs.conf
一般只需加上以下几个参数即可：
base_path=/liuwunan/fastdfs/storage_data #保存日志目录
tracker_server=192.168.1.143:22122 #tracker服务器的IP地址以及端口号
storage_server_port=23000 #storage服务器的端口号
group_name=group1 #当前服务器的group名
url_have_group_name = true #文件url中是否有group名
store_path_count=1 #存储路径个数，需要和store_path个数匹配
store_path0=/liuwunan/fastdfs/storage_data #存储路径
http.need_find_content_type=true #从文件扩展名查找文件类型（nginx时为true）
group_count = 1 #设置组的个数,因爲我只有一个group，按情况填写
在末尾增加1个组的具体信息：如果group_count = 3时，需要写3组，分别[group1]，[group2]，[group3]
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/liuwunan/fastdfs/storage_data12.7、建立M00至存储目录的符号连接
[root@host-192-168-1-145 data]# ln -s /liuwunan/fastdfs/storage_data/data /liuwunan/fastdfs/storage_data/data/M00
M00为磁盘代号
至此，nginx以及FastDFS插件模块设置完成
12.8、运行192.168.1.145的Storage服务的nginx
先要把防火墙中对应的端口打开（本例中为8080）。开防火墙中对应的端口打开（本例中为8080），同样可直接关闭防火墙
[root@host-192-168-1-145 nginx]# iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport 8080 -j ACCEPT
[root@host-192-168-1-145 nginx]# /etc/init.d/iptables save
iptables：将防火墙规则保存到 /etc/sysconfig/iptables：[OK]
启动nginx，确认启动是否成功。（查看是否对应端口8080是否开始监听）
[root@host-192-168-1-145 nginx]# /usr/local/nginx/sbin/nginx
ngx_http_fastdfs_set pid=40638
[root@host-192-168-1-145 nginx]# netstat -unltp | grep nginx
tcp 0 0.0.0.0:8080 0.0.0.0:* LISTEN 40639/nginx
也可查看nginx的日志是否启动成功或是否有错误。
more /usr/local/nginx/logs/error.log
在error.log中没有错误，既启动成功。可以打开浏览器，直接访问http://192.168.1.145:8080，查看是否弹出nginx欢迎页面。
设置开机自动启动
[root@host-192-168-1-145 nginx]# vim /etc/rc.d/rc.local
将运行命令行添加进文件：/usr/local/nginx/sbin/nginx
之后依次在192.168.1.49上全部安装上storage,nginx服务十三、安装192.168.1.149服务器的存储服务和Nginx服务
重复十一到十二所有操作
详情：略
运行fdfs_monitor，查看两台数据存储服务器是否都加入到了tracker服务
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf详细参数请见，会出现两个Active存储服务
[root@host-192-168-1-149 ~]# /usr/bin/fdfs_monitor /etc/fdfs/storage.conf
[2020-02-06 11:57:38] DEBUG - base_path=/liuwunan/fastdfs/storage_data, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0
server_count=1, server_index=0
tracker server is 192.168.1.143:22122
group count: 1
Group 1:
group name = group1
disk total space = 81908 MB
disk free space = 80393 MB
trunk free space = 0 MB
storage server count = 2
active server count = 2
storage server port = 23000
storage HTTP port = 8080
store path count = 1
subdir count per path = 256
current write server index = 1
current trunk file id = 0
Storage 1:
id = 192.168.1.145
ip_addr = 192.168.1.145 (Storaged-01) ACTIVE
http domain =
version = 5.11
join time = 2020-02-05 12:16:08
up time = 2020-02-05 12:16:08
total storage = 81908 MB
free storage = 80406 MB
upload priority = 10
store_path_count = 1
subdir_count_per_path = 256
storage_port = 23000
storage_http_port = 8080
current_write_path = 0
source storage id =
if_trunk_server = 0
connection.alloc_count = 256
connection.current_count = 1
connection.max_count = 2
total_upload_count = 1
success_upload_count = 1
total_append_count = 0
success_append_count = 0
total_modify_count = 0
success_modify_count = 0
total_truncate_count = 0
success_truncate_count = 0
total_set_meta_count = 0
success_set_meta_count = 0
total_delete_count = 0
success_delete_count = 0
total_download_count = 0
success_download_count = 0
total_get_meta_count = 0
success_get_meta_count = 0
total_create_link_count = 0
success_create_link_count = 0
total_delete_link_count = 0
success_delete_link_count = 0
total_upload_bytes = 309910
success_upload_bytes = 309910
total_append_bytes = 0
success_append_bytes = 0
total_modify_bytes = 0
success_modify_bytes = 0
stotal_download_bytes = 0
success_download_bytes = 0
total_sync_in_bytes = 0
success_sync_in_bytes = 0
total_sync_out_bytes = 0
success_sync_out_bytes = 0
total_file_open_count = 1
success_file_open_count = 1
total_file_read_count = 0
success_file_read_count = 0
total_file_write_count = 2
success_file_write_count = 2
last_heart_beat_time = 2020-02-06 11:57:14
last_source_update = 2020-02-05 16:40:42
last_sync_update = 1970-01-01 08:00:00
last_synced_timestamp = 1970-01-01 08:00:00
Storage 2:
id = 192.168.1.149
ip_addr = 192.168.1.149 (Storaged-02) ACTIVE
http domain =
version = 5.11
join time = 2020-02-05 12:24:16
up time = 2020-02-05 12:24:16
total storage = 81908 MB
free storage = 80393 MB
upload priority = 10
store_path_count = 1
subdir_count_per_path = 256
storage_port = 23000
storage_http_port = 8080
current_write_path = 0
source storage id = 192.168.1.145
if_trunk_server = 0
connection.alloc_count = 256
connection.current_count = 1
connection.max_count = 1
total_upload_count = 0
success_upload_count = 0
total_append_count = 0
success_append_count = 0
total_modify_count = 0
success_modify_count = 0
total_truncate_count = 0
success_truncate_count = 0
total_set_meta_count = 0
success_set_meta_count = 0
total_delete_count = 0
success_delete_count = 0
total_download_count = 0
success_download_count = 0
total_get_meta_count = 0
success_get_meta_count = 0
total_create_link_count = 0
success_create_link_count = 0
total_delete_link_count = 0
success_delete_link_count = 0
total_upload_bytes = 0
success_upload_bytes = 0
total_append_bytes = 0
success_append_bytes = 0
total_modify_bytes = 0
success_modify_bytes = 0
stotal_download_bytes = 0
success_download_bytes = 0
total_sync_in_bytes = 309910
success_sync_in_bytes = 309910
total_sync_out_bytes = 0
success_sync_out_bytes = 0
total_file_open_count = 1
success_file_open_count = 1
total_file_read_count = 0
success_file_read_count = 0
total_file_write_count = 2
success_file_write_count = 2
last_heart_beat_time = 2020-02-06 11:57:20
last_source_update = 1970-01-01 08:00:00
last_sync_update = 2020-02-05 16:40:50
last_synced_timestamp = 2020-02-05 16:40:42 (0s delay)十四、在Tracker上安装nginx
在tracker服务器上安装的nginx主要为了提供http访问的反向代理，负载均衡以及缓存服务
第一步：安装Nginx的依赖
yum install pcre-devel
yum install make zlib zlib-devel gcc-c++ libtool下载Nginx缓存的插件包链接
http://labs.frickle.com/nginx_ngx_cache_purge/Nginx非内置的负载均衡算法链接
https://github.com/gnosek/nginx-upstream-fair
14.1、Nginx的缓存插件包下载截图
14.2、Nginx非内置负载均衡算法插件包
14.3、Nginx的插件包下载后的编译，安装
首先将nginx-1.16.0.tar.gz代码包和nginx-upstream-fair-master.zip，ngx_cache_purge-2.3.tar.gz插件解压
重命名 mv nginx-1.16.0 nginx
首先将代码包和插件解压
运行./configure进行安装前的设置，主要设置安装路径，nginx缓存清除插件模块目录
cd /liuwunan/nginx下
./configure --add-module=/liuwunan/ngx_cache_purge-2.3 --add-module=/liuwunan/nginx-upstream-fair-master
--add-module=后面是解压包路径， 分别是缓存插件和负载均衡插件路径备注：在上述编译过程中，会出现一个坑，编译报错如下
nginx-upstream-fair/ngx_http_upstream_fair_module.c:543:28: error: ‘ngx_http_upstream_srv_conf_t’ has no member named ‘default_port’
if (us->port == 0 && us->default_port == 0) {解决方案：到nginx的src/http/ngx_http_upstream.h文件找到ngx_http_upstream_srv_conf_s结构添加in_port_t default_port;
重新编译安装Nginx
./configure --add-module=/liuwunan/ngx_cache_purge-2.3 --add-module=/liuwunan/nginx-upstream-fair-master编译完毕后安装
make
make install
至此nginx和nginx缓存清除插件模块安装完成。
14.4、配置Nginx负载均衡策略和缓存
编辑/usr/local/nginx/conf配置文件目录下的nginx.conf，设置负载均衡以及缓存策略
vi /usr/local/nginx/conf/nginx.conf博主详情nginx.conf配置文件如下
worker_processes 4;
#pid logs/nginx.pid;
events {
worker_connections 65535;
use epoll;
}
http {
include mime.types;
default_type application/octet-stream;
#设置缓存参数
server_names_hash_bucket_size 128;
client_header_buffer_size 32k;
large_client_header_buffers 4 32k;
client_max_body_size 300m;
tcp_nopush on;
proxy_redirect off;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
#设置缓存存储路径、存储方式、分配内存大小、磁盘最大空间、缓存期限
#此文件夹需要创建，mkdir -p /var/cache/nginx/proxy_cache
proxy_cache_path /var/cache/nginx/proxy_cache levels=1:2 keys_zone=http-cache:500m max_size=10g inactive=30d;
proxy_temp_path /var/cache/nginx/proxy_cache/tmp;
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile on;
#tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
#gzip on;
#设置group1的服务器
upstream fdfs_group1 {
fair;
server 192.168.1.145:8080 weight=1 max_fails=2 fail_timeout=30s;
server 192.168.1.149:8080 weight=1 max_fails=2 fail_timeout=30s;
}
server {
listen 8080;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
#location / {
# root html;
# index index.html index.htm;
#}
location /group1/M00 {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_cache http-cache;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_group1;
expires 30d;
}
#设置清除缓存的访问权限
location ~ /purge(/.*) {
allow 127.0.0.1;
allow 172.16.1.0/24;
deny all;
proxy_cache_purge http-cache $1$is_args$args;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
# proxy the PHP scripts to Apache listening on 127.0.0.1:80
#
#location ~ \.php$ {
# proxy_pass http://127.0.0.1;
#}
# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
#
#location ~ \.php$ {
# root html;
# fastcgi_pass 127.0.0.1:9000;
# fastcgi_index index.php;
# fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
# include fastcgi_params;
#}
# deny access to .htaccess files, if Apache's document root
# concurs with nginx's one
#
#location ~ /\.ht {
# deny all;
#}
}
# another virtual host using mix of IP-, name-, and port-based configuration
#
#server {
# listen 8000;
# listen somename:8080;
# server_name somename alias another.alias;
# location / {
# root html;
# index index.html index.htm;
# }
#}
# HTTPS server
#
#server {
# listen 443 ssl;
# server_name localhost;
# ssl_certificate cert.pem;
# ssl_certificate_key cert.key;
# ssl_session_cache shared:SSL:1m;
# ssl_session_timeout 5m;
# ssl_ciphers HIGH:!aNULL:!MD5;
# ssl_prefer_server_ciphers on;
# location / {
# root html;
# index index.html index.htm;
# }
#}
}
至此之后，nginx和nginx缓存清除插件模块设置完成。
14.5、运行Tracker服务上的Nginx
运行nginx之前，先要把防火墙中对应的端口打开（本例中为8080），同样可以直接关闭防火墙
[root@host-192-168-1-143 ~]# iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport 8080 -j ACCEPT
[root@host-192-168-1-143 ~]# /etc/init.d/iptables save
iptables：将防火墙规则保存到 /etc/sysconfig/iptables：[OK]
启动nginx，确认启动是否成功。（查看是否对应端口8080是否开始监听）
[root@tracker nginx-1.8.0]# /usr/local/nginx/sbin/nginx
ngx_http_fastdfs_set pid=20948
[root@host-192-168-1-143 ~]# netstat -unltp | grep nginx
tcp 0 0 0.0.0.0:8080 0.0.0.0:* LISTEN 20947/nginx: master14.6、添加client.conf配置下添加中间的一行配置，余下的都之前已经配好
base_path=/liuwunan/fastdfs/tracker_data #日志存放路径
tracker_server=192.168.1.145:22122 #tracker服务器IP地址和端口号
http.tracker_server_port=8080 #tracker服务器的http端口号14.7、重启Tracker服务
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart14.8、上传文件
使用/usr/local/bin/fdfs_upload_file上传一个文件，程序会自动返回文件的URL
上传一个PDF文档，测试
[root@host-192-168-1-143 ~]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /liuwunan/b.pdf
group1/M00/00/00/wKgBlV47kgCAS_pYAAZXrXsYmRQ451.pdf
下列返回的即是数据存储路径，直接加上
192.168.1.143:8080/group1/M00/00/00/wKgBlV47kgCAS_pYAAZXrXsYmRQ451.pdf
即可访问访问如下图所示
18.9、检查Nginx的缓存文件是否成功
缓存由上图可见，成功了
设置开机自启
设置开机自动启动。
vim /etc/rc.d/rc.local
将运行命令行添加进文件：/usr/local/nginx/sbin/nginx
至此，整个搭建完毕，tracker服务器上的http反向代理+负载均衡+缓存全部安装完成
十五、备注（当前安装常用命令）
启动nginx服务
/usr/local/nginx/sbin/nginx
重启Nginx服务
/usr/local/nginx/sbin/nginx -s reload
查看Nginx是否启动
netstat -unltp | grep nginx
lsof -i:端口 查看端口占用服务
ps aux|grep 进程号 查看进程号的服务动态查看Nginx的日志：tail -n 10 -f /usr/local/nginx/logs/access.log
查看tracker日志，more /liuwunan/fastdfs/tracker_data/logs/trackerd.log
查看storage日志，more /liuwunan/fastdfs/storage_data/logs/storage.log
扫一扫
614
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
