搭建分布式文件存储服务（FastDFS）

最新推荐文章于 2023-06-26 17:37:48 发布
最新推荐文章于 2023-06-26 17:37:48 发布
阅读量587 收藏
点赞数 1
分类专栏： Linux 文章标签： 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wayne_ren/article/details/84877390
版权
服务器规划如下：

[quote]-跟踪服务器
192.168.21.231 fdfs_tracker(22122)
-存储服务器
192.168.21.232 nginx(mod_fdfs)(8888) fdfs_storage(23000)
192.168.21.233 nginx(mod_fdfs)(8888) fdfs_storage(23000)
-客户端
192.168.21.231 fdfs_client
-下载网关
192.168.21.231 nginx(80)[/quote]

[b]（0）系统设置[/b] 
# vi /etc/sysconfig/network-scripts/ifcfg-eth0 
# systemctl stop NetworkManager
# systemctl disable NetworkManager
# service network restart

# vi /etc/sysctl.d/disable_ipv6.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
# sysctl -p/etc/sysctl.d/disable_ipv6.conf
# ip a

# vi /etc/sysconfig/selinux
SELINUX=disabled

# systemctl stop firewalld
# systemctl disable firewalld 

# yum -y install gcc gcc-c++ kernel-devel pcre pcre-devel make libevent perl perl-devel gzip gzip-devel openssl-devel libxml2-devel wget unzip net-tools

# yum clean all
# yum makecache

# useradd fastdfs -M -s /sbin/nologin
# useradd nginx -M -s /sbin/nologin

# shutdown -r now


[b]（1）安装FastDFS依赖包libfastcommon[/b] 
# cd /usr/local/src
# wget https://github.com/happyfish100/libfastcommon/archive/master.zip --no-check-certificate -O libfastcommon-master.zip
# unzip libfastcommon-master.zip
# cd libfastcommon-master
# ./make.sh && ./make.sh install
    mkdir -p /usr/lib64
    mkdir -p /usr/lib
    install -m 755 libfastcommon.so /usr/lib64
    install -m 755 libfastcommon.so /usr/lib
    mkdir -p /usr/include/fastcommon


[b]（2）安装FastDFS[/b] 
# cd /usr/local/src
# wget https://github.com/happyfish100/fastdfs/archive/V5.09.tar.gz --no-check-certificate -O fastdfs-V5.09.tar.gz
# tar -zxvf fastdfs-V5.09.tar.gz
# cd fastdfs-5.09
# ./make.sh && ./make.sh install

# ll /etc/init.d/ |grep fdfs
    -rwxr-xr-x  1 root root   918 Mar 17 15:32 fdfs_storaged
    -rwxr-xr-x  1 root root   920 Mar 17 15:32 fdfs_trackerd
# ll /etc/fdfs/
    -rw-r--r-- 1 root root 1461 Mar 17 15:32 client.conf.sample
    -rw-r--r-- 1 root root 7927 Mar 17 15:32 storage.conf.sample
    -rw-r--r-- 1 root root  105 Mar 17 15:32 storage_ids.conf.sample
    -rw-r--r-- 1 root root 7318 Mar 17 15:32 tracker.conf.sample
# ll /usr/bin|grep fdfs
    -rwxr-xr-x  1 root root    315495 Mar 17 15:32 fdfs_appender_test
    -rwxr-xr-x  1 root root    315272 Mar 17 15:32 fdfs_appender_test1
    -rwxr-xr-x  1 root root    302120 Mar 17 15:32 fdfs_append_file
    -rwxr-xr-x  1 root root    301780 Mar 17 15:32 fdfs_crc32
    -rwxr-xr-x  1 root root    302179 Mar 17 15:32 fdfs_delete_file
    -rwxr-xr-x  1 root root    302914 Mar 17 15:32 fdfs_download_file
    -rwxr-xr-x  1 root root    302504 Mar 17 15:32 fdfs_file_info
    -rwxr-xr-x  1 root root    316333 Mar 17 15:32 fdfs_monitor
    -rwxr-xr-x  1 root root   1102214 Mar 17 15:32 fdfs_storaged
    -rwxr-xr-x  1 root root    325431 Mar 17 15:32 fdfs_test
    -rwxr-xr-x  1 root root    320552 Mar 17 15:32 fdfs_test1
    -rwxr-xr-x  1 root root    448889 Mar 17 15:32 fdfs_trackerd
    -rwxr-xr-x  1 root root    303106 Mar 17 15:32 fdfs_upload_appender
    -rwxr-xr-x  1 root root    304126 Mar 17 15:32 fdfs_upload_file


[b]（3）配置跟踪服务器[/b] 
# mkdir -p /data/fastdfs/tracker

# cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
# vi /etc/fdfs/tracker.conf
disabled=false
port=22122
base_path=/data/fastdfs/tracker

# cp /usr/local/src/fastdfs-5.09/conf/http.conf /etc/fdfs/
# cp /usr/local/src/fastdfs-5.09/conf/mime.types /etc/fdfs/

# /etc/init.d/fdfs_trackerd start
# netstat -unltp|grep fdfs
# ls /data/fastdfs/tracker/
# cat /data/fastdfs/tracker/logs/trackerd.log


[b]（4）配置存储服务器[/b] 
# mkdir -p /data/fastdfs/storage

# cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
# vi /etc/fdfs/storage.conf
disabled=false
port=23000
http.server_port=8888
base_path=/data/fastdfs/storage
store_path0=/data/fastdfs/storage
tracker_server=192.168.21.231:22122

# cp /usr/local/src/fastdfs-5.09/conf/http.conf /etc/fdfs/
# cp /usr/local/src/fastdfs-5.09/conf/mime.types /etc/fdfs/

# /etc/init.d/fdfs_storaged start
# netstat -unltp|grep fdfs
# ls /data/fastdfs/storage


[b]（5）配置客户端[/b] 
# cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
# vi /etc/fdfs/client.conf
base_path=/data/fastdfs/tracker
tracker_server=192.168.21.231:22122


文件上传下载测试 
# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/fastdfs-5.09/README.md
group1/M00/00/00/wKgV6FjLk9eAMFQOAAAJTOwCGr42261.md
# cd /tmp
# /usr/bin/fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/wKgV6FjLk9eAMFQOAAAJTOwCGr42261.md fastdfs-5.09-README.md


[b]（6）存储服务器安装nginx(mod_fdfs)[/b] 
# cd /usr/local/src
# wget https://github.com/happyfish100/fastdfs-nginx-module/archive/master.zip --no-check-certificate -O fastdfs-nginx-module-master.zip
# unzip fastdfs-nginx-module-master.zip

# cd /usr/local/src
# wget http://nginx.org/download/nginx-1.9.9.tar.gz -O nginx-1.9.9.tar.gz
# tar -zxvf nginx-1.9.9.tar.gz
# cd nginx-1.9.9
# ./configure --prefix=/usr/local/nginx-1.9.9 --add-module=../fastdfs-nginx-module-master/src
# make && make install
# ln -s /usr/local/nginx-1.9.9 /usr/local/nginx

# cp -r /usr/local/src/fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs/
# vi /etc/fdfs/mod_fastdfs.conf
connect_timeout=10
base_path=/tmp
tracker_server=192.168.21.231:22122
storage_server_port=23000
url_have_group_name=true
store_path0=/data/fastdfs/storage
group_name=group1

# vi /usr/local/nginx/conf/nginx.conf
server {
      listen       8888;

      location ~/group[0-9]/ {
            ngx_fastdfs_module;
      }
}

# /usr/local/nginx/sbin/nginx
# netstat -unltp|grep nginx


以上步骤安装两台服务器（192.168.21.232、192.168.21.233）

确认nginx
http://192.168.21.232:8888/
Welcome to nginx!
http://192.168.21.233:8888/
Welcome to nginx!

确认文件：
http://192.168.21.232:8888/group1/M00/00/00/wKgV6FjLk9eAMFQOAAAJTOwCGr42261.md
http://192.168.21.233:8888/group1/M00/00/00/wKgV6FjLk9eAMFQOAAAJTOwCGr42261.md

[b]（7）下载网关安装nginx[/b] 
# cd /usr/local/src
# wget http://nginx.org/download/nginx-1.9.9.tar.gz -O nginx-1.9.9.tar.gz
# tar -zxvf nginx-1.9.9.tar.gz
# cd nginx-1.9.9
# ./configure --prefix=/usr/local/nginx-1.9.9
# make && make install
# ln -s /usr/local/nginx-1.9.9 /usr/local/nginx

# vi /usr/local/nginx/conf/nginx.conf
upstream fdfs {
    server   192.168.21.232:8888;
    server   192.168.21.233:8888;
}
server {
    location ~/group[0-9]/ {
        proxy_pass http://fdfs;
    }
}

# /usr/local/nginx/sbin/nginx
# netstat -unltp|grep nginx


确认文件：
http://192.168.21.231/group1/M00/00/00/wKgV6FjLk9eAMFQOAAAJTOwCGr42261.md

以上就安装完成了，可以客户端再次上传图片测试各服务器是否同步： 

# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /tmp/test.jpg
group1/M00/00/00/wKgV6VjLmKGAEGocAAJmqsSfEXA036.jpg


确认文件：
http://192.168.21.232:8888/group1/M00/00/00/wKgV6VjLmKGAEGocAAJmqsSfEXA036.jpg
http://192.168.21.233:8888/group1/M00/00/00/wKgV6VjLmKGAEGocAAJmqsSfEXA036.jpg
http://192.168.21.231/group1/M00/00/00/wKgV6VjLmKGAEGocAAJmqsSfEXA036.jpg
wayne_ren
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
高性能、可扩展、分布式对象存储系统MinIO的介绍、部署步骤以及代码示例_windows server分布式存储
2301_77110907的博客
04-29 735
docker pull minio/minio docker run -p 9000:9000 -p 9001:9001 --name minio -e “MINIO_ACCESS_KEY=youraccesskey” -e “MINIO_SECRET_KEY=yoursecretkey” -v /path/to/data:/data \ #新版目录已经更改为/mnt/data minio/minio server /data version: ‘3.9’ # 使用最新的Docke
07_搭建分布式文件系统_FASTDFS.docx
04-15
astDFS 是以C语言开发的一项开源轻量级分布式文件系统，他对文件进行管理，主要功能有：文件存储，文件同步，文件访问（文件上传/下载）,特别适合以文件为载体的在线服务，如图片网站，视频网站等 分布式文件系统：...
FastDFS分布式文件存储环境搭建
bigfaceCatzzZ的博客
02-26 460
什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 特点： FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Trac...
Linux下搭建分布式文件存储服务FastDFS
热门推荐
tianjh1129的博客
02-23 6万+
Linux下搭建分布式文件存储服务FastDFSLinux下搭建FastDFS环境准备环境安装配置Tracker服务配置Storage服务环境测试 Linux下搭建FastDFS 环境准备 Centos7.x 两台，分别安装tracker与storage服务 192.168.232.12 –-> 安装tracker 192.168.232.13 –-> 安装storage、nginx 需下载如下所示等安装包　　 ​​​​​​ 也可到如下链接进行下载，压缩包内容如上所示： 链接：https://
如何架设文件储存服务器,如何架设文件服务器
weixin_42360788的博客
08-06 541
如何架设文件服务器 内容精选换一换安装完操作系统后的临时云服务器需要进行相关配置，并安装原生的XEN和KVM驱动，才能保证后续创建的云服务器正常使用。该任务指导用户完成Linux云服务器的相关配置与驱动安装，从而创建为Linux系统盘镜像。配置云服务器。具体操作请参考“Linux外部镜像文件在导出前未完成初始化配置，怎么办？”中的“步骤4：配置云服务器”。配置网络检查云服如果您需要使用毕昇编译器，...
搭建分布式文件服务器 fastDFS
m0_37606574的博客
05-31 318
转自68957209的博客： 上：https://blog.csdn.net/u012453843/article/details/68957209 中：https://blog.csdn.net/u012453843/article/details/69055570 下：https://blog.csdn.net/u012453843/article/details/69172423 ...
FastDFS分布式文件系统环境搭建及安装过程解析
08-24
FastDFS是一个基于开源的分布式文件系统，主要解决了大容量存储和负载均衡的问题，非常适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS环境搭建和安装过程主要包括环境搭建、安装libfastcommon、...
FastDFS 分布式文件系统搭建.zip
12-15
FastDFS是一种轻量级的开源分布式文件系统，主要用于解决大容量存储和负载均衡的问题。它在互联网行业中广泛应用于...通过以上步骤，你可以成功搭建一个基本的FastDFS集群，为你的业务提供可靠、高效的文件存储服务。
Centos7配置fastdfs和nginx分布式文件存储系统实现过程解析
09-14
本篇文章将详细介绍如何在CentOS7操作系统上配置FastDFS以及Nginx，搭建一个分布式文件存储解决方案。 1. **FastDFS简介** FastDFS是一个高性能的开源分布式文件系统，它对文件进行管理，包括文件存储、文件同步、...
GFS分布式文件系统
daxiongbaobei的博客
09-20 199
GFS分布式文件系统一、GlusterFS概述二、GlusterFS特点三、GlusterFS术语四、GlusterFS工作原理五、GlusterFS的卷类型1、分布式卷2、条带卷3、复制卷4、分布式条带卷5、分布式复制卷六、部署集群环境 一、GlusterFS概述 开源的分布式文件系统 由存储服务器、客户端以及NFS/Samba存储网关组成 无元数据服务器 模块化堆栈式架构 通过对模块的组合，实现复杂的功能 二、GlusterFS特点 扩展性和高性能 高可用性 全局统一命名空间 弹性卷管理 基于标准协议
AD域控和文件服务器规划方案
06-13
AD域控和文件服务器规划方案
Ceph分布式存储系统搭建
最新发布
2302_77582029的博客
06-26 2371
Ceph分布式存储系统搭建
文件服务器 架构,文件服务器架构规划
weixin_31310737的博客
08-07 448
文件服务器架构规划 内容精选换一换当用户拥有Linux操作系统的外部镜像文件，且类型及操作系统符合外部镜像文件格式和操作系统类型要求时，用户可以将外部镜像文件创建为Linux系统盘镜像。高性能计算云解决方案(HPC Cloud)是一种高效、可靠、灵活、安全的计算服务，能够为工业设计仿真、数字建模模拟、海量数据处理等场景提供卓越的计算服务，帮助客户降低TCO，缩短产品上市周期， 提升企业产品竞争力来...
分布式文件存储-FastDFS环境搭建
houxian1103的博客
12-12 1万+
FastDFS是什么？我们这里可以看一下度娘的解释。FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。我这里使用服务器环境是 Centos7.FastDFS只能上传500MB的小文件tracker:跟踪者，负责调度存储服务。storage:用于文件存储。client:调用tracker。
文件服务器设计思路
tanjianjun123456的博客
10-14 789
一、按照返回方式 1、同步返回 文件上传后，等待文件上传成功后，才返回。 2、异步返回 文件上传后，直接返回成功，文件上传成功后异步更新文件状态。 二、按照上传方式划分 1、单独上传 后台提供一个通用的文件上传接口，前台先将文件上传到该接口，（同步或者异步）返回一个图片URL 2、和表单捆绑上传 表单提交时，需要先将图片进行（同步或者异步）保存，再和表单其他信息一并保存。 三、组合情况： 1、同步+单独上传 案例：若依 好处： 与表单操作分开，表单提交时只需要携带图片URL。 保证..
文件服务器整理与规划
weixin_34203426的博客
12-13 274
公司有文件服务器一台，NTFS权限，现在文件服务器快要满掉了（500G 备份现在也是麻烦）NAS也满了（都是备份也不能删。。。。），总部要求我去做整理与规划，前面文章叫我把每个文件夹下面有多少目录与多大用文档列出来 1.查看命令： 文件夹 PATH 列表 卷序列号为 E01C-6953 D:. ├─2010激活工具 ├─arswp3 │ ├─backu...
搭建分布式存储服务minio详细过程
玩火的稻草人的博客
01-20 3787
最近项目的存储量比较大，考虑项目后期存储需要拓展，决定使用分布式存储，综合考察后，最终选定使用minio作为存储服务。以下是使用步骤，MARK一下！ 1、服务器 192.168.40.124 192.168.40.128 2、创建目录 本集群由2台服务器构成（官方推荐集群最小4台服务器），每个服务器上挂载四个磁盘目录，四个目录的原因：想模拟由一台服务器扩容到两台服务器 数据存储目录（两台服务器） mkdir -p /home/minio/data1 mkdir -p /home/minio/data2 m
sharepoint搭建文档服务器,规划在 SharePoint 服务器的管理和服务帐户
weixin_29959121的博客
08-04 626
规划在 SharePoint 服务器的管理和服务帐户8/23/2017本文内容适用于： 2013 2016 2019 Microsoft 365若要安装 SharePoint 服务器，您必须在运行 SharePoint Server 和 SQL Server 的服务器上具有适当的管理SQL Server。 在完成安装之后，您需要具有适当的管理和服务帐户才能修改和维护环境。 完成这些任务组所需...
Linux+Nginx+FastDFS搭建分布式文件服务器教程
"这篇文档详细介绍了如何在Linux环境...通过以上步骤，你就可以在Linux服务器上搭建起一个完整的Nginx+FastDFS的分布式文件系统，它能有效地支持大量并发的文件上传和下载操作，适用于需要大规模存储和高可用性的场景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值