《一》fastDFS安装
环境介绍
操作系统：centerOS 7.3 需要有gcc,安装命令yum -y install gcc gcc+ gcc-c++ openssl openssl-devel pcre pcre-devel
FastDFS ：5.11安装libfastcommon（公共代码）
下载zip包1wget https://github.com/happyfish100/libfastcommon/archive/master.zip
解压，如果解压出现-bash: unzip: command not found，说明系统没有安装unzip和zip，使用yum install -y unzip zip安装即可
|
1
|
unzip master.zip
|
编译安装
|
1
2
3
|
./make.sh
./make.sh install
|
查看此库文件是否存在，存在则表示安装成功ls -l /usr/lib64/libfastcommon.so
安装FastDFS
同样需要下载解压和编译安装
|
1
2
3
4
5
6
7
|
wget https://github.com/happyfish100/fastdfs/archive/V5.11.zip
unzip V5.11.zip
./make.sh
./make.sh install
|
查看fdfs的相关命令,fastDFS命令目录：/usr/bin
配置文件介绍
FastDFS的配置文件在/etc/fdfs下面，默认都是以.sample为后缀的，这个后缀要去掉，最好就是先复制一份出来。配置文件大部分是保持默认的，要修改的地方不多。
tracker.conf配置介绍
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
|
# ===========================基本配置====================================
disabled=
false
#配置tracker.conf这个配置文件是否生效，因为在启动fastdfs服务端进程时需要指定配置文件，所以需要使次配置文件生效。false是生效，true是让此文件不生效。
bind_addr=
#程序的监听地址，如果不设定则监听所有地址
port=22122
#tracker监听的端口
connect_timeout=30
#连接超时时间，针对socket套接字函数connect，默认为30秒
network_timeout=60
#网络通讯超时（秒）
base_path=/home/yuqing/fastdfs
#Tracker数据/日志目录地址，这里一般要修改的，如：/opt/fdfs
max_connections=256
#允许的最大连接数，这里要根据需求调整.如设置成2048.
accept_threads=1
#接收数据的线程数
work_threads=4
#工作线程数，一般为cpu个数，当然CPU核数太多的话可以稍小一点。如我们是12CCPU，这里设置为8.
min_buff_size = 8KB
#接收/发送数据的buff大小，必须大于8KB
max_buff_size = 128KB
#接收/发送数据的buff大小必须小于128KB
store_lookup=2
#在存储文件时选择group的策略也就是文件上传选取group的规则，0:轮训策略 1:指定某一个组 2:负载均衡，选择空闲空间最大的group。
store_group=group2
#如果上面store_lookup=1，这里就起作用了，这里就要指定某一个组来存储上传的文件了。（一般store_lookup=1是由于旧的组已经没有空间了，因为下面有规则设置，所以就要新添加的机器就要放到新组里面，所以再上传就要传到新组里面。）
store_server=0
# 选择哪个storage server 进行上传操作一个文件被上传后，这个storage server就相当于这个文件的storage server源，会对同组的storage server推送这个文件达到同步效果
# 0: 轮询方式（默认）
# 1: 根据ip 地址进行排序选择第一个服务器（IP地址最小者）
# 2: 根据优先级进行排序（上传优先级由storage server来设置，参数名为upload_priority），优先级值越小优先级越高。
store_path=0
#选择文件上传到storage中的哪个(目录/挂载点),storage可以有多个存放文件的base path 0:轮训策略 2:负载均衡，选择空闲空间最大的。我们线上选择的是2，让其选择空闲空间最大的去存放。
download_server=0
# 选择哪个 storage server 作为下载服务器。
# 0: 轮询方式，可以下载当前文件的任一storage server
# 1: 哪个为源storage server就用哪一个,就是之前上传到哪个storage server服务器就是哪个了
reserved_storage_space = 10%
#系统预留空间，当一个group中的任何storage的剩余空间小于定义的值，整个group就不能上传文件了（V4开始支持百分比方式），如：10G（字节数可以是GB,MB,KB,B）或者10%。
log_level=info
#日志信息级别
run_by_group=
#进程以那个用户组运行，不指定默认是当前用户组
run_by_user=
#进程以那个用户运行，不指定默认是当前用户
allow_hosts=*
# 可以连接到此 tracker server 的ip范围，默认是允许所有（对所有类型的连接都有影响，包括客户端，storage server）
# for example:
# allow_hosts=10.0.1.[1-15,20]
# allow_hosts=host[01-08,20-25].domain.com
# allow_hosts=192.168.5.64/26
sync_log_buff_interval = 10
#同步或刷新日志信息到硬盘的时间间隔，单位为秒。注意：tracker server的日志不是时时写硬盘的，而是先写内存。
check_active_interval = 120
#检测storage服务器的间隔时间，storage定期主动向tracker发送心跳，如果在指定的时间没收到信号，tracker认为storage故障，默认120s
thread_stack_size = 64KB
#线程栈的大小。FastDFS server端采用了线程方式。线程栈越大，一个线程占用的系统资源就越多。如果要启动更多的线程可以适当降低本参数值。
storage_ip_changed_auto_adjust =
true
#这个参数控制当storage server IP地址改变时，集群是否自动调整。注：只有在storage server进程重启时才完成自动调整。
# ===========================同步======================================
storage_sync_file_max_delay = 86400
# V2.0引入的参数。存储服务器之间同步文件的最大延迟时间，缺省为1天。根据实际情况进行调整。
storage_sync_file_max_time = 300
# V2.0引入的参数。存储服务器同步一个文件需要消耗的最大时间，缺省为300s，即5分钟。
# 注：本参数并不影响文件同步过程。本参数仅在下载文件时，作为判断当前文件是否被同步完成的一个阀值。
# ===========================trunk 和 slot============================
use_trunk_file =
false
# V3.0引入的参数。是否使用小文件合并存储特性，缺省是关闭的。
slot_min_size = 256
#V3.0引入的参数。trunk file分配的最小字节数。比如文件只有16个字节，系统也会分配slot_min_size个字节。
slot_max_size = 16MB
#V3.0引入的参数。只有文件大小<=这个参数值的文件，才会合并存储。如果一个文件的大小大于这个参数值，将直接保存到一个文件中（即不采用合并存储方式）。
trunk_file_size = 64MB
#V3.0引入的参数。合并存储的trunk file大小，至少4MB，缺省值是64MB。不建议设置得过大。
trunk_create_file_advance =
false
#是否开启创建trunk file。只有当这个参数为true，下面3个以trunk_create_file_打头的参数才有效。默认我们开启trunk合并。
trunk_create_file_time_base = 02:00
# 提前创建trunk file的起始时间点（基准时间），02:00表示第一次创建的时间点是凌晨2点
trunk_create_file_interval = 86400
#创建trunk file的时间间隔，单位为秒。如果每天只提前创建一次，则设置为86400
trunk_create_file_space_threshold = 20G
# 提前创建trunk file时，需要达到的空闲trunk大小，比如本参数为20G，而当前空闲trunk为4GB，那么只需要创建16GB的trunk file即可。
trunk_init_check_occupying =
false
#trunk初始化时，是否检查可用空间是否被占用
trunk_init_reload_from_binlog =
false
#是否无条件从trunk binlog中加载trunk可用空间信息，FastDFS缺省是从快照文件storage_trunk.dat中加载trunk可用空间，该文件的第一行记录的是trunk binlog的offset，然后从binlog的offset开始加载
trunk_compress_binlog_min_interval = 0
#压缩trunk binlog 的最小时间间隔，单位：秒。默认值为0，0代表不压缩。FastDFS会在trunk初始化或者被销毁的时候压缩trunk binlog文件，如果设置的话建议设置成86400，一天设置一次。
# ===========================其他设置============================
use_storage_id =
false
#是否使用storage id替换ip作为storage server标识，默认为false
storage_ids_filename = storage_ids.conf
#在文件中设置组名、server ID和对应的IP地址，参见源码目录下的配置示例：storage_ids.conf
id_type_in_filename = ip
#存储服务器的文件名中的id类型，取值如下
# IP：存储服务器的IP地址
# id：被存储服务器的服务器标识
# 只有当use_storage_id设置为true时此参数是有效的，默认值是IP
store_slave_file_use_link =
false
#存储从文件是否采用symbol link（符号链接）方式。如果设置为true，一个从文件将占用两个文件：原始文件及指向它的符号链接。
rotate_error_log =
false
#是否定期轮转error log，目前仅支持一天轮转一次
error_log_rotate_time=00:00
#error log定期轮转的时间点，只有当rotate_error_log设置为true时有效
rotate_error_log_size = 0
#error log按大小轮转，设置为0表示不按文件大小轮转，否则当error log达到该大小，就会轮转到新文件中
log_file_keep_days = 0
#保留日志文件0表示不删除旧日志文件，默认值为0
use_connection_pool =
false
#是否使用连接池
connection_pool_max_idle_time = 3600
#连接的空闲时间超过这个时间将被关闭，单位：秒
# ===========================HTTP 相关=================================
http.server_port=8080
#tracker server上的HTTP服务器端口号
http.check_alive_interval=30
# 检查storage http server存活的间隔时间，单位为秒
http.check_alive_type=tcp
#检查存储HTTP服务器的活动类型，值为：tcp：仅连接到具有HTTP端口的存储服务器，不要求和获取响应http：storage check alive url必须返回http状态200默认值为tcp
http.check_alive_uri=/status.html
#检查storage http server是否alive的uri/url
|
上面有很大一部分提到了trunk合并，一般我们是默认不合并的，小文件就是存储到目录里面。下面两篇链接讲的比较详细和专业：
http://blog.csdn.net/hfty290/article/details/42026215
http://blog.csdn.net/liuaigui/article/details/9981135storage.conf配置文件介绍
client.conf配置文件介绍
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
connect_timeout=30
#连接的超时时间
network_timeout=60
#网络超时(秒)，默认值 60s
base_path=/home/yuqing/fastdfs
#存储日志文件的基本路径，如/opt/fastdfs
tracker_server=192.168.0.197:22122
#tracker server的列表，多个的话就是多行，如：
#192.168.1.103:22122
#192.168.1.104:22122
log_level=info
#日志级别
use_connection_pool =
false
#是否使用连接池
connection_pool_max_idle_time = 3600
#连接的空闲时间超过这个时间将被关闭，单位：秒
load_fdfs_parameters_from_tracker=
false
#是否加载来自跟踪服务器的FastDFS参数，默认值为false。这里可以设置为true。
use_storage_id =
false
#是否使用storage id替换ip作为storage server标识，默认为false
storage_ids_filename = storage_ids.conf
#在文件中设置组名、server ID和对应的IP地址，参见源码目录下的配置示例：storage_ids.conf
http.tracker_server_port=80
#HTTP设置，tracker server上的HTTP服务器端口号
|
配置启动Tracker
首先创建数据目录，并修改tracker.conf配置文件
|
1
|
mkdir /data/fastdfs/tracker
|
修改配置文件vim /etc/fdfs/tracker.conf
启动tracker
|
1
2
3
4
|
cd /usr/bin/
fdfs_trackerd /etc/fdfs/tracker.conf restart
|
查看启动结果，tracker的默认端口为 22122
配置启动storage
按照前面的介绍，storage应该安装在其他服务器节点上，并且可以添加多个groups。这里为了方便，直接跟Tracker在同一台服务器，并且就不安装多个了。
修storage.conf配置文件
启动stroge
《二》Nginx安装
前提：已成功安装fastdfs，详见centos7下安装fastdfs
参考：Centos7 安装FastDFS+nginx module
1.安装工具
yum -y install pcre-devel openssl openssl-devel- 1
2.下载解压安装包
wget https://github.com/happyfish100/fastdfs-nginx-module/archive/master.zip
unzip master.zip
wget http://nginx.org/download/nginx-1.9.5.tar.gz
tar -zxv -f nginx-1.9.5.tar.gz- 1
- 2
- 3
- 4
3.安装nginx
mv nginx-1.9.5 /usr/local/
cd /usr/local/nginx-1.9.5
./configure --add-module=/root/fdfs/fastdfs-nginx-module-master/src/ --prefix=/usr/local/nginx --user=nobody --group=nobody --with-http_gzip_static_module --with-http_gunzip_module
make
make install- 1
- 2
- 3
- 4
- 5
注：此处需要添加fastdfs-nginx-module的源码
4.配置mod_fastdfs.conf
cp /root/fdfs/fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs/
mkdir /data/ngx
vi /etc/fdfs/mod_fastdfs.conf
- 1
- 2
- 3
- 4
修改下面四个参数：
# the base path to store log files
base_path=/data/ngx
# FastDFS tracker_server
tracker_server=192.168.153.130:22122
# store_path#, based 0, if store_path0 not exists, it's value is base_path
# the paths must be exist
# must same as storage.conf
store_path0=/data/fdfs/storage
# if the url / uri including the group name
url_have_group_name = true- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
5.添加http.conf,mime.types到/etc/fdfs
cd /root/fdfs/fastdfs-5.05/conf
cp http.conf mime.types /etc/fdfs- 1
- 2
注：/root/fdfs/fastdfs-5.05为fastdfs的下载解压文件目录
参考Centos7 安装FastDFS+nginx module
6.修改nginx配置文件
vi /usr/local/nginx/conf/nginx.conf- 1
配置内容如下：
location /group1/M00 {
#root指向数据根目录，即storage的store_path
root /data/fdfs/storage/data;
ngx_fastdfs_module;
}- 1
- 2
- 3
- 4
- 5
7.启动nginx
启动：
/usr/local/nginx/sbin/nginx- 1
验证：
curl http://localhost- 1
查看错误信息
tail -f /usr/local/nginx/logs/error.log- 1
重启：
/usr/local/nginx/sbin/nginx -s reload- 1
8.测试
wget http://192.168.153.130/group1/M00/00/00/wKiZglauvkmANC2wAAAAPpWmuhI171_big.txt- 1
成功下载文件到当前文件夹
扫一扫
456
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
