Linux中安装FastDFS轻量级分布式文件系统

先来介绍一下什么是FastDFS

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

1.选择操作环境

本文选用CentOS 7做测试

2.配置编译环境

1)安装FastDFS依赖环境。

yum install  gcc-c++ -y

yum install pcre pcre-devel openssl ssl-devel perl-devel -y

2)安装FastDFS依赖包libfastcommon。

cd /usr/local/src

wget https://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz

tar -zxvf V1.0.38.tar.gz

cd libfastcommon-1.0.38/

./make.sh

./make.sh install

3)安装FastDFS。

cd /usr/local/src

wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz

tar -zxvf V5.11.tar.gz

cd fastdfs-5.11/

./make.sh

./make.sh install

4)将配置文件复制到系统为fdfs预设的目录。

cd /usr/local/src/fastdfs-5.11/conf

cp mime.types http.conf /etc/fdfs/

5)     查看安装FastDFS过程中产生的可执行文件。

ls -la /usr/bin/fdfs*

显示类似如下内容表示安装成功。

-rwxr-xr-x 1 root root  381896 Jul  9 14:45 /usr/bin/fdfs_appender_test

-rwxr-xr-x 1 root root  381680 Jul  9 14:45 /usr/bin/fdfs_appender_test1

-rwxr-xr-x 1 root root  372592 Jul  9 14:45 /usr/bin/fdfs_append_file

-rwxr-xr-x 1 root root  372392 Jul  9 14:45 /usr/bin/fdfs_crc32

-rwxr-xr-x 1 root root  372624 Jul  9 14:45 /usr/bin/fdfs_delete_file

-rwxr-xr-x 1 root root  373360 Jul  9 14:45 /usr/bin/fdfs_download_file

-rwxr-xr-x 1 root root  372976 Jul  9 14:45 /usr/bin/fdfs_file_info

-rwxr-xr-x 1 root root  382640 Jul  9 14:45 /usr/bin/fdfs_monitor

-rwxr-xr-x 1 root root 1138424 Jul  9 14:45 /usr/bin/fdfs_storaged

-rwxr-xr-x 1 root root  387728 Jul  9 14:45 /usr/bin/fdfs_test

-rwxr-xr-x 1 root root  386984 Jul  9 14:45 /usr/bin/fdfs_test1

-rwxr-xr-x 1 root root  520352 Jul  9 14:45 /usr/bin/fdfs_trackerd

-rwxr-xr-x 1 root root  373584 Jul  9 14:45 /usr/bin/fdfs_upload_appender

-rwxr-xr-x 1 root root  374616 Jul  9 14:45 /usr/bin/fdfs_upload_file

6)配置FastDFS。

分别对tracker，storage，client进行配置。

a.创建目录。

mkdir /home/fastdfs/tracker -p

mkdir /home/fastdfs/storage -p

cd /etc/fdfs/

b.配置tracker。

cp tracker.conf.sample tracker.conf

vim tracker.conf

将内容修改为“base_path=/home/fastdfs/tracker”和“thread_stack_size = 128KB”，如下面加粗部分所示：

# the base path to store data and log files

base_path=/home/fastdfs/tracker

......

# thread stack size, should >= 64KB

# default value is 64KB

thread_stack_size = 128KB

c. 启动tracker。

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start

d. 配置storage。

cd /etc/fdfs/

cp storage.conf.sample storage.conf

vim storage.conf

将内容修改为“base_path=/home/fastdfs/storage”、“store_path0=/home/fastdfs/storage”和“tracker_server=XX.XX.XX.XX:22122”。

“tracker_server”中的“XX.XX.XX.XX”为本机的虚拟IP地址，可以通过ifconfig命令查询获取。

修改后的内容，如下面加粗部分所示，其中“192.168.1.206”为示例，应根据实际虚拟IP地址填写。

# the base path to store data and log files

base_path=/home/fastdfs/storage

...

# store_path#, based 0, if store_path0 not exists, it's value is base_path

# the paths must be exist

store_path0=/home/fastdfs/storage

#store_path1=/home/yuqing/fastdfs2

.....

# tracker_server can ocur more than once, and tracker_server format is

#  "host:port", host can be hostname or ip address

tracker_server=192.168.1.206:22122

e.  启动storage。

/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start

f. 查看storage启动日志。

vim /home/fastdfs/storage/logs/storaged.log

查看最后几行，显示类似如下所示，表示启动成功。

[2019-07-09 17:03:51] INFO - file: tracker_client_thread.c, line: 310, successfully connect to tracker server 192.168.1.206:2

2122, as a tracker client, my ip is 192.168.1.206

[2019-07-09 17:04:21] INFO - file: tracker_client_thread.c, line: 1263, tracker server 192.168.1.206:22122, set tracker leade

r: 192.168.1.206:22122

g.配置client。

cd /etc/fdfs/

cp client.conf.sample client.conf

vi  client.conf

将内容修改为“base_path=/home/fastdfs/tracker”和“tracker_server=XX.XX.XX.XX:22122”。

“tracker_server”中的“XX.XX.XX.XX”为本机的虚拟IP地址，可以通过ifconfig命令查询获取。

修改后的内容，如下面加粗部分所示，其中“192.168.1.206”为示例，应根据实际虚拟IP地址填写。

# the base path to store log files

base_path=/home/fastdfs/tracker

......

# tracker_server can ocur more than once, and tracker_server format is

#  "host:port", host can be hostname or ip address

tracker_server=192.168.1.206:22122

7) 安装和配置fastdfs-nginx-module。

a.  安装fastdfs-nginx-module。

cd /usr/local/src

wget  https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz

tar -zxvf V1.20.tar.gz

b.配置fastdfs-nginx-module的“config”文件。

cd /usr/local/src/fastdfs-nginx-module-1.20/src/

vim config

按照如下加粗所示，修改“ngx_module_incs”和“CORE_INCS”。

ngx_addon_name=ngx_http_fastdfs_module

if test -n "${ngx_module_link}"; then

    ngx_module_type=HTTP

    ngx_module_name=$ngx_addon_name

    ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"

    ngx_module_libs="-lfastcommon -lfdfsclient"

    ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"

    ngx_module_deps=

    CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='/etc/fdfs/mod_fast

dfs.conf'"

    . auto/module

else

    HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"

    NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"

    CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

    CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"

    CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='/etc/fdfs/mod_fast

dfs.conf'"

fi

c. 配置fastdfs-nginx-module的“mod_fastdfs.conf”文件。

cp /usr/local/src/fastdfs-nginx-module-1.20/src/mod_fastdfs.conf /etc/fdfs/

vi /etc/fdfs/mod_fastdfs.conf

将内容修改为“base_path=/home/fastdfs”、“tracker_server=XX.XX.XX.XX:22122”、“url_have_group_name = true”和“store_path0=/home/fastdfs/storage”。

“tracker_server”中的“XX.XX.XX.XX”为本机的虚拟IP地址，可以通过ifconfig命令查询获取。

修改后的内容，如下面加粗部分所示，其中“192.168.1.206”为示例，应根据实际虚拟IP地址填写。

# the base path to store log files

base_path=/home/fastdfs

......

# FastDFS tracker_server can ocur more than once, and tracker_server format is

#  "host:port", host can be hostname or ip address

# valid only when load_fdfs_parameters_from_tracker is true

tracker_server=192.168.1.206:22122

......

# if the url / uri including the group name

# set to false when uri like /M00/00/00/xxx

# set to true when uri like ${group_name}/M00/00/00/xxx, such as group1/M00/xxx

# default value is false

url_have_group_name = true

.......

# store_path#, based 0, if store_path0 not exists, it's value is base_path

# the paths must be exist

# must same as storage.conf

store_path0=/home/fastdfs/storage

8) 安装和配置Nginx。

a.安装Nginx。

yum -y install make zlib-devel gcc-c++ libtool openssl openssl-devel

./configure 

make && make install


cd /usr/local/src/

wget http://nginx.org/download/nginx-1.15.2.tar.gz

tar -zxvf nginx-1.15.2.tar.gz

cd nginx-1.15.2

./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module-1.20/src/

make &&make install

b. 配置Nginx。

cd /usr/local/nginx/conf/

vi nginx.conf

server {

listen80;

server_name  localhost;



#charset koi8-r;



#access_log  logs/host.access.log  main;

location ~/M00{

root   /home/fastdfs/storage/data;

ngx_fastdfs_module;

}



location / {

root   html;

index  index.html index.htm;

}

3. 测试已完成编译的软件

1) 启动nginx

cd /usr/local/nginx/sbin/

./nginx

2)测试。

a.生成测试文件。

cd /usr/local/src

touch a.txt

vi a.txt

插入如下内容并保存。

kungpeng test fastdfs ok!

b.生成文件链接。

/usr/bin/fdfs_upload_file  /etc/fdfs/client.conf a.txt

回显信息如下：

[root@ecs-001 src]# /usr/bin/fdfs_upload_file  /etc/fdfs/client.conf a.txt

group1/M00/00/00/wKgBzl0khdiAWJcGAAAAGmbRVtQ604.txt

记录返回的信息为“group1/FAST/00/00/wKgBzl0khdiAWJcGAAAAGmbRVtQ604.txt”。

c.放行CentOS系统的80端口，在浏览器中输入“http://[IP地址]:80/group1/M00/00/00/wKgBzl0khdiAWJcGAAAAGmbRVtQ604.txt”可以看到返回的“a.txt”相关信息。

参考此篇文章：什么是FastDFS_FastDFS如何配置-华为云 (huaweicloud.com)