【FastDFS】如何打造一款高可用的分布式文件系统？这次我明白了！！

最后，附一张自己面试前准备的脑图：

面试前一定少不了刷题，为了方便大家复习，我分享一波个人整理的面试大全宝典

• Java核心知识整理

• Spring全家桶（实战系列）

Step3：刷题

既然是要面试，那么就少不了刷题，实际上春节回家后，哪儿也去不了，我自己是刷了不少面试题的，所以在面试过程中才能够做到心中有数，基本上会清楚面试过程中会问到哪些知识点，高频题又有哪些，所以刷题是面试前期准备过程中非常重要的一点。

以下是我私藏的面试题库：

很多人感叹“学习无用”，实际上之所以产生无用论，是因为自己想要的与自己所学的匹配不上，这也就意味着自己学得远远不够。无论是学习还是工作，都应该有主动性，所以如果拥有大厂梦，那么就要自己努力去实现它。

最后祝愿各位身体健康，顺利拿到心仪的offer！

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

2、 编辑跟踪器配置文件

vi /etc/fdfs/tracker.conf

修改的内容如下：

disabled=false #启用配置文件

port=22122 #tracker 的端口号，一般采用 22122 这个默认端口

base_path=/fastdfs/tracker #tracker 的数据文件和日志目录

（其它参数保留默认配置， 具体配置解释请参考官方文档说明： http://bbs.chinaunix.net/thread-1941456-1-1.html ）

3、 创建基础数据目录（参考基础目录 base_path 配置）

mkdir -p /fastdfs/tracker

4、 防火墙中打开跟踪器端口（默认为 22122）

vi /etc/sysconfig/iptables

添加如下端口行：

FastDFS Tracker Port

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

重启防火墙：

service iptables restart

5、 启动 Tracker

/etc/init.d/fdfs_trackerd start

初次成功启动，会在/fastdfs/tracker 目录下创建 data、 logs 两个目录） 可以通过以下两个方法查看 tracker 是否启动成功:

(1)查看 22122 端口监听情况

netstat -unltp|grep fdfs

(2)通过以下命令查看 tracker 的启动日志，看是否有错误

tail -100f /fastdfs/tracker/logs/trackerd.log

6、 关闭 Tracker

/etc/init.d/fdfs_trackerd stop

7、 设置 FastDFS 跟踪器开机启动

vi /etc/rc.d/rc.local

添加以下内容

FastDFS Tracker

/etc/init.d/fdfs_trackerd start

配置 FastDFS 存储 ( 192.168.50.137 、 192.168.50.138 、 192.168.50.139 、 192.168.50.140 )

---

1、 复制 FastDFS 存储器样例配置文件,并重命名

cd /etc/fdfs/

cp storage.conf.sample storage.conf

2、 编辑存储器样例配置文件

以 group1 中的 storage 节点的 storage.conf 为例

vi /etc/fdfs/storage.conf

修改的内容如下:

disabled=false #启用配置文件

group_name=group1 #组名（第一组为 group1， 第二组为 group2）

port=23000 #storage 的端口号,同一个组的 storage 端口号必须相同

base_path=/fastdfs/storage #设置 storage 的日志目录

store_path0=/fastdfs/storage #存储路径

store_path_count=1 #存储路径个数，需要和 store_path 个数匹配

tracker_server=192.168.50.135:22122 #tracker 服务器的 IP 地址和端口

tracker_server=192.168.50.136:22122 #多个 tracker 直接添加多条配置

http.server_port=8888 #设置 http 端口号

（其它参数保留默认配置， 具体配置解释请参考官方文档说明：http://bbs.chinaunix.net/thread-1941456-1-1.html ）

3、 创建基础数据目录（参考基础目录 base_path 配置）

mkdir -p /fastdfs/storage

4、 防火墙中打开存储器端口（默认为 23000）

vi /etc/sysconfig/iptables

添加如下端口行：

FastDFS Storage Port

-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT

重启防火墙：

service iptables restart

5、 启动 Storage

/etc/init.d/fdfs_storaged start

（初次成功启动，会在/fastdfs/storage 目录下创建数据目录 data 和日志目录 logs）

各节点启动动，使用 tail -f /fastdfs/storage/logs/storaged.log 命令监听存储节点日志， 可以看到存储节点链接到跟踪器，并提示哪一个为 leader 跟踪器。 同时也会看到同一组中的其他节点加入进来的日志信息。

查看 23000 端口监听情况

netstat -unltp|grep fdfs

所有 Storage 节点都启动之后，可以在任一 Storage 节点上使用如下命令查看集群信息：

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

结果为：

可以看到存储节点状态为 ACTIVE 则可

6、 关闭 Storage

/etc/init.d/fdfs_storaged stop

7、 设置 FastDFS 存储器开机启动

vi /etc/rc.d/rc.local

添加：

FastDFS Storage

/etc/init.d/fdfs_storaged start

文件上传测试 ( 192.168.50.135 )

---

1、 修改 Tracker 服务器中的客户端配置文件

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf

vi /etc/fdfs/client.conf

base_path=/fastdfs/tracker

tracker_server=192.168.50.135:22122

tracker_server=192.168.50.136:22122

2、 执行如下文件上传命令

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/FastDFS_v5.05.tar.gz

返回 ID 号：

group1/M00/00/00/wKgBh1Xtr9-AeTfWAAVFOL7FJU4.tar.gz

group2/M00/00/00/wKgBiVXtsDmAe3kjAAVFOL7FJU4.tar.gz

（能返回以上文件 ID， 说明文件上传成功）

在各存储节点（192.168.50.137、 192.168.50.138、 192.168.50.139、 192.168.50.140） 上安装 Nginx

---

1、 fastdfs-nginx-module 作用说明

FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储， 但是同组存储服务器之间需要进入文件复制， 有同步延迟的问题。假设 Tracker 服务器将文件上传到了 192.168.50.137，上传成功后文件 ID已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 192.168.50.138，在文件还没有复制完成的情况下，客户端如果用这个文件 ID 在 192.168.50.138 上取文件,就会出现文件无法访问的错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。（解压后的 fastdfs-nginx-module 在 nginx 安装时使用）

2、上传 fastdfs-nginx-module_v1.16.tar.gz 到/usr/local/src， 解压

cd /usr/local/src/

tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

3、 修改 fastdfs-nginx-module 的 config 配置文件

vi /usr/local/src/fastdfs-nginx-module/src/config

CORE_INCS=“$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/”

修改为：

CORE_INCS=“$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/”

（注意： 这个路径修改是很重要的，不然在 nginx 编译的时候会报错的）

4、上传Nginx的安装包

上传当前的稳定版本 Nginx(nginx-1.13.0.tar.gz)到/usr/local/src 目录

5、 安装编译 Nginx 所需的依赖包

yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel

6、 编译安装 Nginx（添加 fastdfs-nginx-module 模块）

cd /usr/local/src/

tar -zxvf nginx-1.13.0.tar.gz

cd nginx-1.13.0

./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module/src

make && make install

7、 复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录， 并修改

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

vi /etc/fdfs/mod_fastdfs.conf

(1)第一组 Storage 的 mod_fastdfs.conf 配置如下：

connect_timeout=10

base_path=/tmp

tracker_server=192.168.1.131:22122

tracker_server=192.168.1.132:22122

storage_server_port=23000

group_name=group1

url_have_group_name = true

store_path0=/fastdfs/storage

group_count = 2

[group1]

group_name=group1

storage_server_port=23000

store_path_count=1

store_path0=/fastdfs/storage

[group2]

group_name=group2

storage_server_port=23000

store_path_count=1

store_path0=/fastdfs/storage

(2)第一组 Storage 的 mod_fastdfs.conf 配置与第一组配置只有 group_name 不同：

group_name=group2

8、 复制 FastDFS 的部分配置文件到/etc/fdfs 目录

cd /usr/local/src/FastDFS/conf

cp http.conf mime.types /etc/fdfs/

9、 在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录

ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

10、 配置 Nginx， 简洁版 nginx 配置样例

vi /usr/local/nginx/conf/nginx.conf

user root;

worker_processes 1;

events {

worker_connections 1024;

}

http {

include mime.types;

default_type application/octet-stream;

sendfile on;

keepalive_timeout 65;

server {

listen 8888;

server_name localhost;

location ~/group([0-9])/M00 {

#alias /fastdfs/storage/data;

ngx_fastdfs_module;

}

error_page 500 502 503 504 /50x.html;

location = /50x.html {

root html;

}

}

}

注意、 说明：

A、 8888 端口值是要与/etc/fdfs/storage.conf 中的 http.server_port=8888 相对应，因为 http.server_port 默认为 8888,如果想改成 80，则要对应修改过来。

B、 Storage 对应有多个 group 的情况下，访问路径带 group 名，如/group1/M00/00/00/xxx，对应的 Nginx 配置为：

location ~/group([0-9])/M00 {

ngx_fastdfs_module;

}

C、 如查下载时如发现老报 404， 将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。

11、 防火墙中打开 Nginx 的 8888 端口

vi /etc/sysconfig/iptables

添加：

Nginx Port

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT

重启防火墙: # service iptables restart

12、 启动 Nginx

/usr/local/nginx/sbin/nginx

ngx_http_fastdfs_set pid=xxx

（重启 Nginx 的命令为： /usr/local/nginx/sbin/nginx -s reload）

设置 Nginx 开机启动

vi /etc/rc.local

加入：

/usr/local/nginx/sbin/nginx

13、 通过浏览器访问测试时上传的文件

http://192.168.50.137:8888/group1/M00/00/00/wKgBh1Xtr9-AeTfWAAVFOL7FJU4.tar.gz

http://192.168.50.139:8888/group2/M00/00/00/wKgBiVXtsDmAe3kjAAVFOL7FJU4.tar.gz

在跟踪器节点（192.168.50.135、 192.168.50.136）上安装 Nginx

---

1、 在 tracker 上安装的 nginx 主要为了提供 http 访问的反向代理、负载均衡以及缓存服务

2、 安装编译 Nginx 所需的依赖包

yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel

3、上传 ngx_cache_purge-2.3.tar.gz 到/usr/local/src，解压

cd /usr/local/src/

tar -zxvf ngx_cache_purge-2.3.tar.gz

4、 上传当前的稳定版本 Nginx(nginx-1.13.0.tar.gz)到/usr/local/src 目录

5、 编译安装 Nginx（添加 ngx_cache_purge 模块）

cd /usr/local/src/

tar -zxvf nginx-1.13.0.tar.gz

cd nginx-1.13.0

./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/ngx_cache_purge-2.3

make && make install

6、配置 Nginx， 设置负载均衡以及缓存

vi /usr/local/nginx/conf/nginx.conf

user root;

worker_processes 1;

#error_log logs/error.log;

#error_log logs/error.log notice;

#error_log logs/error.log info;

#pid logs/nginx.pid;

events {

worker_connections 1024;

use epoll;

}

http {

include mime.types;

default_type application/octet-stream;

#log_format main '$remote_addr - $remot{e}_{u}ser[$time_local] “$request” ’

'$status $bod{y}_{b}yte{s}_{s}ent"$http_referer" ’

‘“$htt{p}_{u}se{r}_{a}gent""$http_x_forwarded_for”’;

#access_log logs/access.log main;

sendfile on;

tcp_nopush on;

#keepalive_timeout 0;

keepalive_timeout 65;

#gzip on;

#设置缓存

server_names_hash_bucket_size 128;

client_header_buffer_size 32k;

large_client_header_buffers 4 32k;

client_max_body_size 300m;

proxy_redirect off;

proxy_set_header Host $http_host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_connect_timeout 90;

proxy_send_timeout 90;

proxy_read_timeout 90;

proxy_buffer_size 16k;

proxy_buffers 4 64k;

proxy_busy_buffers_size 128k;

proxy_temp_file_write_size 128k;

#设置缓存存储路径、存储方式、分配内存大小、磁盘最大空间、缓存期限

proxy_cache_path /fastdfs/cache/nginx/proxy_cache levels=1:2

keys_zone=http-cache:200m max_size=1g inactive=30d;

proxy_temp_path /fastdfs/cache/nginx/proxy_cache/tmp;

#设置 group1 的服务器

upstream fdfs_group1 {

server 192.168.50.137:8888 weight=1 max_fails=2 fail_timeout=30s;

server 192.168.50.138:8888 weight=1 max_fails=2 fail_timeout=30s;

} #

设置 group2 的服务器

upstream fdfs_group2 {

server 192.168.50.139:8888 weight=1 max_fails=2 fail_timeout=30s;

server 192.168.50.140:8888 weight=1 max_fails=2 fail_timeout=30s;

}

server {

listen 8000;

server_name localhost;

#charset koi8-r;

#access_log logs/host.access.log main;

#设置 group 的负载均衡参数

location /group1/M00 {

proxy_next_upstream http_502 http_504 error timeout invalid_header;

proxy_cache http-cache;

proxy_cache_valid 200 304 12h;

proxy_cache_key $uri$is_args$args;

proxy_pass http://fdfs_group1;

expires 30d;

}

location /group2/M00 {

proxy_next_upstream http_502 http_504 error timeout invalid_header;

proxy_cache http-cache;

proxy_cache_valid 200 304 12h;

proxy_cache_key $uri$is_args$args;

proxy_pass http://fdfs_group2;

expires 30d;

}

#设置清除缓存的访问权限

最后

文章中涉及到的知识点我都已经整理成了资料，录制了视频供大家下载学习，诚意满满，希望可以帮助在这个行业发展的朋友，在论坛博客等地方少花些时间找资料，把有限的时间，真正花在学习上，所以我把这些资料，分享出来。相信对于已经工作和遇到技术瓶颈的朋友们，在这份资料中一定都有你需要的内容。

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

2 fail_timeout=30s;

server 192.168.50.140:8888 weight=1 max_fails=2 fail_timeout=30s;

}

server {

listen 8000;

server_name localhost;

#charset koi8-r;

#access_log logs/host.access.log main;

#设置 group 的负载均衡参数

location /group1/M00 {

proxy_next_upstream http_502 http_504 error timeout invalid_header;

proxy_cache http-cache;

proxy_cache_valid 200 304 12h;

proxy_cache_key $uri$is_args$args;

proxy_pass http://fdfs_group1;

expires 30d;

}

location /group2/M00 {

proxy_next_upstream http_502 http_504 error timeout invalid_header;

proxy_cache http-cache;

proxy_cache_valid 200 304 12h;

proxy_cache_key $uri$is_args$args;

proxy_pass http://fdfs_group2;

expires 30d;

}

#设置清除缓存的访问权限

最后

文章中涉及到的知识点我都已经整理成了资料，录制了视频供大家下载学习，诚意满满，希望可以帮助在这个行业发展的朋友，在论坛博客等地方少花些时间找资料，把有限的时间，真正花在学习上，所以我把这些资料，分享出来。相信对于已经工作和遇到技术瓶颈的朋友们，在这份资料中一定都有你需要的内容。

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取