Linux中安装FastDFS轻量级分布式文件系统

已于 2022-08-20 10:38:19 修改
阅读量569 收藏
点赞数 2
文章标签： linux 服务器
于 2022-08-19 14:57:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SLQ1893/article/details/126424442
版权

先来介绍一下什么是FastDFS

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

1.选择操作环境

本文选用CentOS 7做测试

2.配置编译环境

1)安装FastDFS依赖环境。

yum install  gcc-c++ -y
yum install pcre pcre-devel openssl ssl-devel perl-devel -y

2)安装FastDFS依赖包libfastcommon。

cd /usr/local/src
wget https://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz
tar -zxvf V1.0.38.tar.gz
cd libfastcommon-1.0.38/
./make.sh
./make.sh install

3)安装FastDFS。

cd /usr/local/src
wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz
tar -zxvf V5.11.tar.gz
cd fastdfs-5.11/
./make.sh
./make.sh install

4)将配置文件复制到系统为fdfs预设的目录。

cd /usr/local/src/fastdfs-5.11/conf
cp mime.types http.conf /etc/fdfs/

5)     查看安装FastDFS过程中产生的可执行文件。

ls -la /usr/bin/fdfs*

显示类似如下内容表示安装成功。

-rwxr-xr-x 1 root root  381896 Jul  9 14:45 /usr/bin/fdfs_appender_test

-rwxr-xr-x 1 root root  381680 Jul  9 14:45 /usr/bin/fdfs_appender_test1

-rwxr-xr-x 1 root root  372592 Jul  9 14:45 /usr/bin/fdfs_append_file

-rwxr-xr-x 1 root root  372392 Jul  9 14:45 /usr/bin/fdfs_crc32

-rwxr-xr-x 1 root root  372624 Jul  9 14:45 /usr/bin/fdfs_delete_file

-rwxr-xr-x 1 root root  373360 Jul  9 14:45 /usr/bin/fdfs_download_file

-rwxr-xr-x 1 root root  372976 Jul  9 14:45 /usr/bin/fdfs_file_info

-rwxr-xr-x 1 root root  382640 Jul  9 14:45 /usr/bin/fdfs_monitor

-rwxr-xr-x 1 root root 1138424 Jul  9 14:45 /usr/bin/fdfs_storaged

-rwxr-xr-x 1 root root  387728 Jul  9 14:45 /usr/bin/fdfs_test

-rwxr-xr-x 1 root root  386984 Jul  9 14:45 /usr/bin/fdfs_test1

-rwxr-xr-x 1 root root  520352 Jul  9 14:45 /usr/bin/fdfs_trackerd

-rwxr-xr-x 1 root root  373584 Jul  9 14:45 /usr/bin/fdfs_upload_appender

-rwxr-xr-x 1 root root  374616 Jul  9 14:45 /usr/bin/fdfs_upload_file

6)配置FastDFS。

分别对tracker，storage，client进行配置。

a.创建目录。

mkdir /home/fastdfs/tracker -p

mkdir /home/fastdfs/storage -p

cd /etc/fdfs/

b.配置tracker。

cp tracker.conf.sample tracker.conf

vim tracker.conf

将内容修改为“base_path=/home/fastdfs/tracker”和“thread_stack_size = 128KB”，如下面加粗部分所示：

# the base path to store data and log files

base_path=/home/fastdfs/tracker

......

# thread stack size, should >= 64KB

# default value is 64KB

thread_stack_size = 128KB

c. 启动tracker。

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start

d. 配置storage。

cd /etc/fdfs/

cp storage.conf.sample storage.conf

vim storage.conf

将内容修改为“base_path=/home/fastdfs/storage”、“store_path0=/home/fastdfs/storage”和“tracker_server=XX.XX.XX.XX:22122”。

“tracker_server”中的“XX.XX.XX.XX”为本机的虚拟IP地址，可以通过ifconfig命令查询获取。

修改后的内容，如下面加粗部分所示，其中“192.168.1.206”为示例，应根据实际虚拟IP地址填写。

# the base path to store data and log files

base_path=/home/fastdfs/storage

...

# store_path#, based 0, if store_path0 not exists, it's value is base_path

# the paths must be exist

store_path0=/home/fastdfs/storage

#store_path1=/home/yuqing/fastdfs2

.....

# tracker_server can ocur more than once, and tracker_server format is

#  "host:port", host can be hostname or ip address

tracker_server=192.168.1.206:22122

e.  启动storage。

/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start

f. 查看storage启动日志。

vim /home/fastdfs/storage/logs/storaged.log

查看最后几行，显示类似如下所示，表示启动成功。

[2019-07-09 17:03:51] INFO - file: tracker_client_thread.c, line: 310, successfully connect to tracker server 192.168.1.206:2

2122, as a tracker client, my ip is 192.168.1.206

[2019-07-09 17:04:21] INFO - file: tracker_client_thread.c, line: 1263, tracker server 192.168.1.206:22122, set tracker leade

r: 192.168.1.206:22122

g.配置client。

cd /etc/fdfs/

cp client.conf.sample client.conf

vi  client.conf

将内容修改为“base_path=/home/fastdfs/tracker”和“tracker_server=XX.XX.XX.XX:22122”。

“tracker_server”中的“XX.XX.XX.XX”为本机的虚拟IP地址，可以通过ifconfig命令查询获取。

修改后的内容，如下面加粗部分所示，其中“192.168.1.206”为示例，应根据实际虚拟IP地址填写。

# the base path to store log files

base_path=/home/fastdfs/tracker

......

# tracker_server can ocur more than once, and tracker_server format is

#  "host:port", host can be hostname or ip address

tracker_server=192.168.1.206:22122

7) 安装和配置fastdfs-nginx-module。

a.  安装fastdfs-nginx-module。

cd /usr/local/src

wget  https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz

tar -zxvf V1.20.tar.gz

b.配置fastdfs-nginx-module的“config”文件。

cd /usr/local/src/fastdfs-nginx-module-1.20/src/

vim config

按照如下加粗所示，修改“ngx_module_incs”和“CORE_INCS”。

ngx_addon_name=ngx_http_fastdfs_module

if test -n "${ngx_module_link}"; then

    ngx_module_type=HTTP

    ngx_module_name=$ngx_addon_name

    ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"

    ngx_module_libs="-lfastcommon -lfdfsclient"

    ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"

    ngx_module_deps=

    CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='/etc/fdfs/mod_fast

dfs.conf'"

    . auto/module

else

    HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"

    NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"

    CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

    CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"

    CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='/etc/fdfs/mod_fast

dfs.conf'"

fi

c. 配置fastdfs-nginx-module的“mod_fastdfs.conf”文件。

cp /usr/local/src/fastdfs-nginx-module-1.20/src/mod_fastdfs.conf /etc/fdfs/

vi /etc/fdfs/mod_fastdfs.conf

将内容修改为“base_path=/home/fastdfs”、“tracker_server=XX.XX.XX.XX:22122”、“url_have_group_name = true”和“store_path0=/home/fastdfs/storage”。

“tracker_server”中的“XX.XX.XX.XX”为本机的虚拟IP地址，可以通过ifconfig命令查询获取。

修改后的内容，如下面加粗部分所示，其中“192.168.1.206”为示例，应根据实际虚拟IP地址填写。

# the base path to store log files

base_path=/home/fastdfs

......

# FastDFS tracker_server can ocur more than once, and tracker_server format is

#  "host:port", host can be hostname or ip address

# valid only when load_fdfs_parameters_from_tracker is true

tracker_server=192.168.1.206:22122

......

# if the url / uri including the group name

# set to false when uri like /M00/00/00/xxx

# set to true when uri like ${group_name}/M00/00/00/xxx, such as group1/M00/xxx

# default value is false

url_have_group_name = true

.......

# store_path#, based 0, if store_path0 not exists, it's value is base_path

# the paths must be exist

# must same as storage.conf

store_path0=/home/fastdfs/storage

8) 安装和配置Nginx。

a.安装Nginx。

yum -y install make zlib-devel gcc-c++ libtool openssl openssl-devel

./configure 

make && make install


cd /usr/local/src/

wget http://nginx.org/download/nginx-1.15.2.tar.gz

tar -zxvf nginx-1.15.2.tar.gz

cd nginx-1.15.2

./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module-1.20/src/

make &&make install

b. 配置Nginx。

cd /usr/local/nginx/conf/

vi nginx.conf

server {

listen80;

server_name  localhost;



#charset koi8-r;



#access_log  logs/host.access.log  main;

location ~/M00{

root   /home/fastdfs/storage/data;

ngx_fastdfs_module;

}



location / {

root   html;

index  index.html index.htm;

}

3. 测试已完成编译的软件

1) 启动nginx

cd /usr/local/nginx/sbin/

./nginx

2)测试。

a.生成测试文件。

cd /usr/local/src

touch a.txt

vi a.txt

插入如下内容并保存。

kungpeng test fastdfs ok!

b.生成文件链接。

/usr/bin/fdfs_upload_file  /etc/fdfs/client.conf a.txt

回显信息如下：

[root@ecs-001 src]# /usr/bin/fdfs_upload_file  /etc/fdfs/client.conf a.txt

group1/M00/00/00/wKgBzl0khdiAWJcGAAAAGmbRVtQ604.txt

记录返回的信息为“group1/FAST/00/00/wKgBzl0khdiAWJcGAAAAGmbRVtQ604.txt”。

c.放行CentOS系统的80端口，在浏览器中输入“http://[IP地址]:80/group1/M00/00/00/wKgBzl0khdiAWJcGAAAAGmbRVtQ604.txt”可以看到返回的“a.txt”相关信息。

参考此篇文章：什么是FastDFS_FastDFS如何配置-华为云 (huaweicloud.com)

SLQ1893
关注
GFS 分布式文件系统
自由
10-06 464
一、GlusterFS概述 1．GlusterFS简介 GlusterFS 是一个开源的分布式文件系统。 由存储服务器、客户端以及NFS/Samba 存储网关（可选，根据需要选择使用）组成。 没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。 MFS 传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高，但是也存在一些缺陷，例如单点故障。一旦元数据服务器出现故障，即使节点具备再高的冗余性，整个存储系统也将崩溃。而 G
Linux下分布式文件系统FastDFS安装与配置
07-18
Linux下分布式文件系统FastDFS安装与配置
Linux分布式文件系统FastDFS
weixin_67607176的博客
08-26 308
Linux分布式文件系统FastDFS
Linux中MFS分布式文件系统(实战教程)全网最详细
最新发布
博客之路,前途漫漫
09-03 2307
MFS（MooseFS）是一个分布式文件系统，主要由元数据服务器（Master）、元数据日志服务器（MetaLogger）、数据存储服务器（Chunk Server）和客户端组成。其工作流程包括客户端向Master请求数据位置，Master返回Chunk Server的信息，客户端再向Chunk Server请求数据。写入流程则涉及客户端请求写入、Master与Chunk Server交互创建分块、客户端写入数据并进行同步。MFS通过数据分块和多副本机制提高了系统的可靠性和性能。
分布式文件系统 FastDFS 5.0.5 & Linux CentOS 7 安装配置
whs99的博客
10-26 617
FastDFS 分布式文件系统集群与应用
Linux--GlusterFS分布式文件系统群集
征服Bug的博客
09-05 418
GlusterFS (Gluster File System) 是一个开源的分布式文件系统，主要由 Z RESEARCH公司负责开发。GlusterFS 是 Scale-Out 存储解决方案 Gluster 的核心，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS 借助 TCP/IP 或 InfiniBand RDMA 网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。
FastDFS和Linux下安装使用FastDFS 安装Nginx 分布式文件系统.docx
07-21
FastDFS是其中一种流行的开源解决方案，由中国的余庆先生开发，它是一个轻量级、高效率的分布式文件系统，主要用C语言编写。 【FastDFS的特点和功能】 FastDFS提供了文件存储、文件同步、文件上传和下载、负载均衡...
FastDFS：轻量级分布式文件系统详解与安装指南
FastDFS是一个专门针对互联网应用设计的轻量级分布式文件系统，它由纯C语言实现，适用于Linux和FreeBSD等UNIX系统环境。其核心特点在于： 1. 专有API接口：FastDFS并非通用文件系统，而是通过C、Java和PHP等特定API...
FastDFS：轻量级分布式文件系统详解
"分布式文件系统FastDFS是一种开源的轻量级分布式文件系统，主要针对互联网应用设计，解决大规模文件存储问题。它由C语言编写，适用于Linux和FreeBSD等UNIX系统，并提供了C、Java和PHP的API接口。FastDFS不仅支持...
FastDFS分布式文件系统安装、配置与使用，并搭配nginx
11-04
FastDFS是一个开源的高性能、轻量级的分布式文件系统，它对文件进行管理，包括文件存储、文件同步、文件访问（文件上传、文件下载）等功能，解决了大容量存储和负载均衡的问题。FastDFS特别适合以文件为载体的在线...
linux安装fastdfs
北回归线的博客
05-06 1802
linux安装fastdfs 1 安装环境 1.1 安装 GCC # yum -y install gcc-c++ 1.2 安装 libevent # yum -y install libevent 1.3安装 libfastcommon 在 /opt/fastdfs-server 目录下面 创建fastdfs-server目录 # mkdir fastdfs-server # cd fastdfs-server 拉取压缩包 # wget https://github.com/happyfish100
Linux搭建FastDFS（本地服务器和云服务器适用）
01-09
前言 使用FastDFS文件服务器分为三步。 第一步·FastDFS系统环境搭建 第二步·开启端口 第三步·配置 Nginx 模块及访问测试 其实本地服务器和云服务器的安装方式是一样的就是配置ip的时候 云服务器需要写成公网ip 正文 介绍 FastDFS 系统有三个角色，跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。 话不多说开始吧！ 对了如果发生了什么错误可以在文章尾部查看有没有类似错误！！！ 1 安装软件 以下软件在安装fastdfs都可能用的到，为了防止安装时报错我们全部安装。 yum -y install zlib z
Linux安装FastDFS分布式文件存储服务器
zhang_g_b_930830的博客
07-23 875
Linux安装FastDFS分布式文件存储服务器Linux安装FastDFS分布式文件存储服务器（单机版）系统环境软件准备安装依赖环境安装 libfastcommon-master安装FastDFS安装tracker安装storage测试上传文件安装配置fastdfs-nginx-module安装Nginx Linux安装FastDFS分布式文件存储服务器（单机版） 系统环境 CentOS7.x ...
Linux下使用FastDFS
weixin_68570147的博客
09-16 2150
FastDFS是一个开源的轻量级分布式文件系统，为互联网应用量身定做，简单、灵活、高效，采用C语言开发，由阿里巴巴开发并开源。FastDFS对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载、文件删除）等，解决了大容量文件存储的问题，特别适合以文件为载体的在线服务，如相册网站、文档网站、图片网站、视频网站等等。FastDFS充分考虑了冗余备份、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
如何在Linux下使用FastDFS
weixin_44517990的博客
08-28 395
1.Linux下使用FastDFS 本教程所有操作均在CentOS 6.x环境下进行。 将资料中的所需文件，上传到/usr/local/nc目录下： 1.1.单节点FastDFS 整个安装过程非常复杂，很容易出错，建议进行多次备份。 我们这里不打算安装多台虚拟机，因此会把tracker和storage都安装在一起。 1.1.1.安装gcc GCC用来对C语言代码进行编译运行，使用yum命令安装： ...
Linux安装Fastdfs
corn_bean的博客
06-06 631
fast dfs安装
Linux安装FastDFS
qq_42641075的博客
02-16 335
Linux安装FastDFS 参考连接：https://blog.csdn.net/weixin_43591980/article/details/110947827 安装相关软件 这里我采用的是虚拟机安装，系统是centos 7 下载依赖包 没有这些文件，nginx将不能正常编译 yum install gcc-c++ yum install pcre pcre-devel yum install zlib zlib-devel yum install openssl openssl--de
Linux下安装Fastdfs
wd520521的博客
12-29 1822
注意：我的安装目录在/opt/fastdfs,大家根据自己的安装目录去复制，/etc/fdfs/是自动生成的，无须大家自己创建。（4）fastdfs-nginx-module-1.22：FastDFS和nginx的关联模块。将fastdfs安装文件夹下的配置文件拷贝到/etc/fdfs目录下。（1）将提前下载好的安装包放在/opt/fastdfs目录中。（3）编译并安装fastdfs-6.06.tar.gz。（2）fastdfs-6.06：FastDFS本体包。解压fastdfs-6.06.tar.gz。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值