Nginx+fastDFS-nginx-module+FastDFS配置分布式文件系统

简介

FastDFS是一个开源的轻量级的分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。

tracker server:跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的 storage server和group,每个 storage 在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳,Tracker根据 storage 心跳信息,建立 group--->[storage server list]的映射表;tracker 管理的元数据很少,会直接存放在内存;tracker 上的元信息都是由 storage 汇报的信息生成的,本身不需要持久化任何数据,tracker 之间是对等关系,因此扩展 tracker 服务非常容易,直接增加tracker 服务器即可,所有 tracker 都接受 stroage 心跳信息,生成元数据信息来提供读写服务(与其他 Master-Slave 架构的优势是没有单点,tracker 也不会成为瓶颈,最终数据是和一个可用的Storage Server 进行传输的)注:tracker管理的group数据和server数据可以在tracker的data路径中找到storage_groups_new.dat、storage_servers_new.dat。

storage server:存储服务器,主要提供容量和备份服务;以 group 为单位,每个 group 内可以包含多台 storage server,数据互为备份,存储容量空间以 group 内容量最小的 storage 为准;建议 group 内的 storage server 配置相同;以 group 为单位组织存储能够方便的进行应用隔离、负载均衡和副本数定制;缺点是 group 的容量受单机存储容量的限制, 同时 group 内机器坏掉,数据恢复只能依赖 group 内其他机器重新同步(坏盘替换,重新挂载重启 fdfs_storaged 即可)


一、安装前准备

1.系统说明

操作系统CentOS release 6.5(Final)

ip20.10.80.17

主机名:localhost.localdomain

部署角色:tracker storage nginx

2.准备编译环境 

yum -y install gcc gcc+ gcc-c++ openssl openssl-devel pcre pcre-devel

注:参照文件“fastdfs安装前准备组件安装.docx“

3.检测防火墙

检测防火墙是否开启命令:service iptables status

防火墙关闭命令:service iptables stop

注:为了方便测试 关闭防火墙 service iptables stop


搭建完毕之后可以将相应端口及规则加入到防火墙中(端口填写自己配置的实际端口)

tracker添加到防火墙规则中

iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport22122 -j ACCEPT
storage
iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport23000 -j ACCEPT
nginx
iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport80 -j ACCEPT
端口要修改成自己配置中实际的端口,修改之后进行下面的命令进行保存
/etc/init.d/iptables save

二、源码准备

源码下载,下载后统一拷贝到目录/usr/local/src/

 

2.1.1  下载fastDFS 5.01 地址:

http://jaist.dl.sourceforge.net/project/fastdfs/FastDFS%20Server%20Source%20Code/FastDFS%20Server%20with%20PHP%20Extension%20Source%20Code%20V5.01/FastDFS_v5.01.tar

2.1.2  下载 nginx 1.7.0

    http://nginx.org/download/nginx-1.7.0.tar.gz

2.1.3  fastdfs-nginx-module_v1.16

   http://jaist.dl.sourceforge.NET/project/fastdfs/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz

 

三、安装编译

3.1安装FastDFS

cd   /usr/local/src/

tar xf FastDFS_v5.01.tar.gz

cd FastDFS

./make.sh && ./make.sh install 

3.2解压fastDFS-nginx-module

cd   /usr/local/src/

 tar -zxvf  fastdfs-nginx-module_v1.16.tar.gz

 

注意:zxvf

x : 从 tar 包中把文件提取出来

z : 表示 tar 包是被 gzip 压缩过的,所以解压时需要用 gunzip 解压

v : 显示详细信息

f xxx.tar.gz:  指定被处理的文件是 xxx.tar.gz,f后面必须跟上要处理的文件名,也就是说你不能写成这样 tar -zxfvfastdfs-nginx-module_v1.16.tar.gz

3.3安装Nginx并附加fastdfs-nginx-module 模块

cd /usr/local/src/

 tar xf nginx-1.7.0.tar.gz

 cd nginx-1.7.0

//编译安装 nginx附带 fastdfs-nginx-module模块

./configure --user=nginx --group=nginx--prefix=/usr/local/nginx --add-module=../fastdfs-nginx-module/src

make

make install

四、配置

 4.1 tracker的配置

4.1.1创建tracker数据以及日志存放目录

mkdir -p /usr/local/src/fastdfs/tracker

4.1.2修改FastDFS的tracker.conf配置文件(当安装完FastDFS是,在/etc/fdfs目录下会出现tracker.conf storage.conf两个配置文件)

vim /etc/fdfs/tracker.conf

主要修改项:

base_path= /usr/local/src/fastdfs/tracker

max_connections=100

work_threads=8

store_lookup=0

store_path=0

reserved_storage_space=10%

run_by_group=root

run_by_user=root

rotate_error_log=true


为了以后迁移数据的方便,个人推荐使用服务器的id生成文件的url名称,而不是默认的使用ip,如果使用id生成文件名url,在tracker.conf文件中修改如下参数

# if use storage ID instead of IP address
# default value is false
# since V4.00
use_storage_id = true

# specify storage ids filename, can use relative or absolute path
# since V4.00
storage_ids_filename = /usr/local/src/FastDFS/conf/storage_ids.conf

# id type of the storage server in the filename, values are:
## ip: the ip address of the storage server
## id: the server id of the storage server
# this paramter is valid only when use_storage_id set to true
# default value is ip
# since V4.03
id_type_in_filename = id

再在mod_fastdfs.conf修改文件如下参数
根据这两个参数的注释说明可以知道,可以不设置的,只有当mod_fastdfs.conf配置文件中load_fdfs_parameters_from_tracker=false的时候才会到mod_fastdfs.conf配置文件中取这两个参数值
# if use storage ID instead of IP address
# same as tracker.conf
# valid only when load_fdfs_parameters_from_tracker is false
# default value is false
# since V1.13
use_storage_id = true
 
# specify storage ids filename, can use relative or absolute path
# same as tracker.conf
# valid only when load_fdfs_parameters_from_tracker is false
# since V1.13
storage_ids_filename =  /usr/local/src/FastDFS/conf/storage_ids.conf

4.1.3将tracker交给service管理并且设置开机启动

cp /usr/local/src/FastDFS/init.d/fdfs_trackerd  /etc/init.d/     //服务脚本必须存放在/etc/ini.d/目录下

chkconfig   --add  fdfs_trackerd      //增加所指定的系统服务,让chkconfig指令得以管理它,并同时在系统启动的叙述文件内增加相关数据

chkconfig  fdfs_trackerd on             //设置开机启动

service fdfs_trackerd start              //即使启动服务

4.2修改storage.conf配置文件

创建数据存放目录

 mkdir -p /usr/local/src/fastdfs/storage/data

修改FastDFSstorage.conf配置文件

 vim /etc/fdfs/storage.conf

修改主要项目如下

work_threads=8

store_path_count=1

base_path=/usr/local/src/fastdfs/storage

store_path0=/usr/local/src/ fastdfs/storage

##tracker_server 的地址

tracker_server=20.10.80.17:22122


如果是多个tracker_server的话,就直接写多个,如下图


##运行 FastDFS 的用户组

run_by_group=root

##运行 FastDFS 的用户

run_by_user=root

file_distribute_path_mode=1

rotate_error_log=true

 

4.3整合fastdfs-nginx-module模块mod_fastdfs.conf配置文件

nginx模块的配置文件拷贝到 /etc/fdfs中,进行修改

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf   /etc/fdfs/

主要修改项

 connect_timeout=30

tracker_server=20.10.80.17:22122

group_name=group1

url_have_group_name = true

store_path_count=1

store_path0=/usr/local/src/fastdfs/storage

 

4.1         nginx配置

4.4.1nginx.conf配置文件

  vim /usr/local/nginx/conf/nginx.conf

修改后内容如下:

user root  root; ---用户   用户组

worker_processes  3;

error_log /usr/local/nginx/logs/error.log;

error_log /usr/local/nginx/logs/error.log notice;

error_log /usr/local/nginx/logs/error.log info;

pid   /usr/local/nginx/logs/nginx.pid;

events {

   worker_connections  1024;

}

http {

 include mime.types;

 default_type application/octet-stream;

 server_names_hash_bucket_size 128;

 client_header_buffer_size 32k;

 large_client_header_buffers 4 32k;

 client_max_body_size 50m;

   log_format  main  '$remote_addr - $remote_user [$time_local]"$request"

                      '$status $body_bytes_sent"$http_referer" '

                     '"$http_user_agent" "$http_x_forwarded_for"';

 access_log /usr/local/nginx/logs/access.log main;

 upstream server_group1{

 server20.10.80.17:80;

 }

server {

 listen80;

 server_name localhost.localdomain;

 access_log   off;

#这里是对nginx和fastdfs-nginx-module的整合

 

location  /group1/M00{
    root/usr/local/src/fastdfs/storage/data;
    ngx_fastdfs_module;
  }

 }

}

注意:如果要做storage集群的话,那么在upstream server_group1{}中将所有服务器放进去,如下图

 

4.4.2创建软连接

ln  -s  /usr/local/src/fastdfs/storage/data     /usr/local/src/fastdfs/storage/data/M00

这个软连接也可以不创建,不创建的话,data的根目录如下:

以group1/M00/14/F3/oYYBAFaPB7mETEqJAAAAAAgc1Og742.png为例,该图片在这里面直接进入14,然后进入F3就能找到


如果创建的软连接的话,如下图


在里面多了一个M00路径,可以通过进入M00,再进入14,再进入F3找到图片,当然直接进入14,进入F3也能找到,这只是一个连接。

因为我们再nginx的location里在group1下多配了一个M00路径。

4.4.3把storage 交给service管理并且设置开机启动

 cp /usr/local/src/FastDFS/init.d/fdfs_storaged   /etc/init.d/

 chkconfig --add fdfs_storaged

 chkconfig fdfs_storaged on

 service fdfs_storaged start

 启动storage,会根据配置文件的设置自动创建多级存储目录,如下图:


五、问题及解决方法

a)  nginx扩展模块,不能正常显示图片的问题

在配置文件/etc/fdfs/mod_fastdfs.conf中,缺省的设置是这样的:http.need_find_content_type=false这个参数在nginx中需要设置为trueapache中应该设置为false

注意:http.need_find_content_type=false这个配置是在/etc/fdfs/mod_fastdfs.conf中进行配置的,如果该配置文件中没有改配置就直接加上,保存之后重启nginx即可。

b)  400 bad request

[2011-12-1215:24:21] ERROR - file: /tmp/fastdfs-nginx-module/src/common.c, line: 561,logic file: M00/00/00/wKgBNU7lqyjzJZ4mAA4CRXl5SCQ670.jpg not exists
2011/12/12 15:24:21 [error] 14147#0: *1 open()"/home/nginx/nginx/html/favicon.ico" failed (2: No such file ordirectory), client: 192.168.1.123, server: localhost, request: "GET/favicon.ico HTTP/1.1", host: "20.10.80.17:80"

修改/fastdfs/conf/mod_fastdfs.conf里面url_have_group_name = true

 

六、测试

1.    20.10.80.17上启动trackerstoragenginx

启动tracker     service fdfs_trackerd start
启动storage   service fdfs_storaged start
启动nginx        /usr/local/nginx/sbin/nginx

如果启动nginx有问题,可以看下是不是这个博客所指的问题与解决方法

http://blog.csdn.net/ystyaoshengting/article/details/48681193


2.    配置一个client tracker上进行

 vim /etc/fdfs/client.conf

base_path= /usr/local/src/fastdfs/storage

tracker_server=20.10.80.17:22122

如果是多个tracker的话,这里也是需要像storage.conf里说的那样写多个tracker_server

3.    查看集群详细

 fdfs_monitor  /etc/fdfs/client.conf

结果如下图


4.    测上传

fdfs_upload_file     /etc/fdfs/client.conf     /usr/fastdfs/hibernate.jpg

返回:/group1/M00/00/00/wKhQFFWYq1iAXUcbAAF9-d2hUpA735.jpg

5.    浏览器访问http://20.10.80.17/group1/M00/00/00/wKhQFFWYx6WAaeCIAALJTvfxx5I331.jpg检测上传是否成功

 








  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值