1. FastDFS 介绍
FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。
存储节点存储文件,完成文件管理的所有功能:存储、同步和提供存取接口,FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性,以键值对(key value pair)方式表示,如:width=1024,其中的key为width,value为1024。文件meta data是文件属性列表,可以包含多个键值对。
FastDFS系统结构如下图所示:
跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。
为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷 的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起 到了冗余备份和负载均衡的作用。
在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。
当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。
FastDFS中的文件标识分为两个部分:卷名和文件名,二者缺一不可。
上传文件交互过程:
client询问tracker上传到的storage,不需要附加参数;
tracker返回一台可用的storage;
client直接和storage通讯完成文件上传。
下载文件交互过程:
client询问tracker下载文件的storage,参数为文件标识(卷名和文件名);
tracker返回一台可用的storage;
client直接和storage通讯完成文件下载。
需要说明的是,client为使用FastDFS服务的调用方,client也应该是一台服务器,它对tracker和storage的调用均为服务器间的调用。
2. FastDFS单机部署
2.1 准备
系统:
CentOS7
安装包:
可以自行下载,也可以用我的
链接:https://pan.baidu.com/s/1EllHjwz2je_0mMHBIAkbfg
提取码:r1jk
2.2 安装依赖包和开始工具
#安装依赖软件,
安装FastDFS依赖libevent库
yum -y install gcc gcc-c++ libstdc++-devel pcre-devel zlib-devel wget make libevent
yum -y groupinstall 'Development Tools'
2.3 安装libfastcommon
cd /tmp/fastdfs/
tar -zxvf libfastcommonV1.0.43.tar.gz
mv libfastcommonV1.0.43 /usr/local/libfastcommon
cd /usr/local/libfastcommon
./make.sh
./make.sh install
输入:yum -y install zlib zlib-devel pcre pcre-devel gcc gcc-c++ openssl openssl-devel libevent libevent-devel perl unzip net-tools wget
下载缺少的东西
libfastcommon安装好后会在/usr/lib64 目录下生成 libfastcommon.so 库文件;注意:由于FastDFS程序引用usr/lib目录所以需要将/usr/lib64下的库文件拷贝至/usr/lib下。
cp libfastcommon.so /usr/lib
2.4 安装fastdfs
cd /tmp/fastdfs
tar -zxvf fastdfsV6.06.tar.gz
mv fastdfsV6.06 /usr/local/fastdfs
./make.sh
./make.sh install
安装好之后,在/usr/bin目录下,可以看fdfs开头的命令工具
FastDFS安装完成之后,所有配置文件在/etc/fdfs目录下,
接下来给tracker配置tracker,给storage配置storage.conf
2.5 配置tracker
cd /etc/fdfs/
cp tracker.conf.sample tracker.conf
vim tracker.conf
修改base_path(文件存储路径)为/opt/fastdfs
#the base path to store data and log files
base_path=/opt/fastdfs
#启用配置文件
disabled=false
#设置tracker的端口号
port=22122
#设置tracker的数据文件和日志目录(需手动创建)
base_path=/opt/fastdfs
#设置http端口号
http.server_port=8080
使用fdfs_trackerd /etc/fdfs/tracker.conf start
尝试启动tracker
检查是否启动
2.6 配置storage
cd /etc/fdfs/
cp storage.conf.sample storage.conf
vim storage.conf
主要修改base_path,store_path以及tracker的连接地址以及storage的http服务端口配置等。
group_name=group1 #组名(第一组为group1,第二组为group2,依次类推…)
base_path=/opt/fastdfs # 数据和日志文件存储根目录 store_path0=/opt/fastdfs # 第一个存储目录,第二个存储目录起名为:store_path1=xxx,其它存储目录名依次类推…
store_path_count=1 # 存储路径个数,需要和store_path个数匹配 tracker_server=192.168.206.130:22122 # tracker服务器IP和端口,有多个则添加多行
检查是否启动
fdfs_storaged /etc/fdfs/storage.conf start
netstat -unltp|grep fdfs
在任一存储节点上使用如下命令查看集群的状态信息:
fdfs_monitor /etc/fdfs/storage.conf
如果出现ip_addr = Active, 则表明storage服务器已经登记到tracker服务器,如下:
2.7 在storage上安装nginx
fastdfs-nginx-module模块只需要安装到storage上。
cd /tmp/fastdfs
tar -zxvf fastdfs-nginx-moduleV1.22.tar.gz
mv fastdfs-nginx-moduleV1.22 /usr/local/fastdfs-nginx-module
tar -zxf nginx-1.13.4.tar.gz
cd nginx-1.13.4
./configure --prefix=/usr/local/nginx --add-module=/usr/local/fastdfs-nginx-module/src/
没有报错则执行下一步:
make
make install
如下结果则表示安装成功
2.8 配置client
cd /etc/fdfs/
cp client.conf.sample client.conf
vim client.conf
base_path=/opt/fastdfs # 数据和日志文件存储根目录
tracker_server=192.168.206.130:22122 # tracker服务器IP和端口,有多个按行添加
http.tracker_server_port=8080 # 服务端IP和端口号
上传个文件返回对应路径,如下:
[root@localhost nginx-1.13.4]# fdfs_upload_file /etc/fdfs/client.conf /tmp/logo.png
group1/M00/00/00/wKjOgmZQO-2AD9q2AAAffIEaKec405.png
2.9 配置fastdfs-nginx-module和nginx
cd /etc/fdfs/
cp /usr/local/fastdfs-nginx-module/src/mod_fastdfs.conf .
vim mod_fastdfs.conf
一般只需改动以下几个参数即可:
base_path=/opt/fastdfs # 保存日志目录
tracker_server=192.168.206.130:22122 # tracker服务器IP和端口,有多个按行添加
storage_server_port=23000 # storage服务器的端口号
group_name=group1 # 当前服务器的group名
url_have_group_name = true # 文件url中是否有group名
store_path_count=1 # 存储路径个数,需要和store_path个数匹配
store_path0=/opt/fastdfs # 存储路径
group_count = 0 # 设置组的个数,设置为0则为单组
cp /usr/local/fastdfs/conf/http.conf /usr/local/fastdfs/conf/mime.types /etc/fdfs/
vim /usr/local/nginx/conf/nginx.conf
内容:
#nx.conf
user nobody;
worker_processes 1;
error_log logs/info.log info;
#pid logs/nginx.pid;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile on;
#tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
#设定请求缓冲
server_names_hash_bucket_size 128;
client_header_buffer_size 32k;
large_client_header_buffers 4 32k;
client_max_body_size 300m;
tcp_nopush on;
tcp_nodelay on;
server_tokens off;
client_body_buffer_size 512k;
proxy_connect_timeout 20;
proxy_send_timeout 60;
proxy_read_timeout 20;
proxy_buffer_size 16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
client_header_timeout 3m;
client_body_timeout 3m;
send_timeout 3m;
gzip on; # 开启gzip,节省带宽
gzip_min_length 1100;
gzip_buffers 4 8k;
gzip_types text/plain text/css application/x-javascript image/bmp application/javascript;
output_buffers 1 32k;
postpone_output 1460;
limit_rate_after 3m; # 限速模块,前3M下载时不限速
limit_rate 512k; # 限速模块
include vhost/*.conf;
}
vim /usr/local/nginx/conf/vhost/storage.conf
内容:
# storage.conf
server {
listen 8080 ;
server_name 192.168.206.130 ;
location / {
root html;
index index.html index.htm;
}
location ~/group[0-9]/M00 {
alias /opt/fastdfs/data/;
ngx_fastdfs_module;
}
}
启动nginx:
/usr/local/nginx/sbin/nginx
然后访问上文件中生成的字符串拼接的url:
http://192.168.206.130:8080/group1/M00/00/00/wKjOgmZQO-2AD9q2AAAffIEaKec405.png
3.访问异常处理(未开放端口)
我这是防火墙没开放8080端口,处理过程如下
3.1 查看防火墙开放的端口有没有8080
firewall-cmd --zone=public --list-ports
#查看防火墙所有开放的端口:
发现没有,把8080端口开放
firewall-cmd --zone=public --add-port=8080/tcp --permanent
firewall-cmd --reload
# 配置立即生效,然后再访问刚才那个地址就可以了
4.服务操作
#关闭服务器
/etc/init.d/fdfs_trackerd stop
/etc/init.d/fdfs_storaged stop
#打开服务器
/etc/init.d/fdfs_trackerd start
/etc/init.d/fdfs_storaged start
4.1 添加tracker 服务至开机自启动
chkconfig fdfs_trackerd on #开机自启动
chkconfig --add fdfs_trackerd
chkconfig fdfs_trackerd --list
有此信息说明设置成功
4.2 添加storage 服务至开机自启动
chkconfig fdfs_storaged on
chkconfig --add fdfs_storaged
chkconfig fdfs_storaged --list
有此信息说明设置成功
4.3 添加nginx服务到开机启动(CentOS7设置Nginx开机自启)
chkconfig nginx --list
出现如下结果表示设置成功