FastDFS搭建

于 2017-05-15 10:58:00 发布
阅读量51 收藏
点赞数
原文链接：https://my.oschina.net/zhangzexing/blog/900001
版权

1.什么是FastDFS

FastDFS是用C语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

2.FastDFS架构

FastDFS架构包括 Tracker server和Storage server。客户端请求Tracker server进行文件上传、下载，通过Tracker server调度最终由Storage server完成文件上传和下载。Tracker server作用是负载均衡和调度，通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。Storage server作用是文件存储，客户端上传的文件最终存储在Storage服务器上，Storage server没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将storage称为存储服务器。 

2.2.1Tracker集群

FastDFS集群中的Tracker server可以有多台，Tracker server之间是相互平等关系同时提供服务，Tracker server不存在单点故障。客户端请求Tracker server采用轮询方式，如果请求的tracker无法提供服务则换另一个tracker。

2.2.2Storage集群

Storage集群采用了分组存储方式。storage集群由一个或多个组构成，集群存储总容量为集群中所有组的存储容量之和。一个组由一台或多台存储服务器组成，组内的Storage server之间是平等关系，不同组的Storage server之间不会相互通信，同组内的Storage server之间会相互连接进行文件同步，从而保证同组内每个storage上的文件完全一致的。一个组的存储容量为该组内存储服务器容量最小的那个，由此可见组内存储服务器的软硬件配置最好是一致的。采用分组存储方式的好处是灵活、可控性较强。比如上传文件时，可以由客户端直接指定上传到的组也可以由tracker进行调度选择。一个分组的存储服务器访问压力较大时，可以在该组增加存储服务器来扩充服务能力（纵向扩容）。当系统容量不足时，可以增加组来扩充存储容量（横向扩容）。

2.2.3Storage状态收集

Storage server会连接集群中所有的Tracker server，定时向他们报告自己的状态，包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。

2.2.4文件上传流程

客户端上传文件后存储服务器将文件ID返回给客户端，此文件ID用于以后访问该文件的索引信息。文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。示例：group1/M00/02/44/sdfgsinsdfsdf.jpg 

2.2.5文件下载流程

tracker根据请求的文件路径即文件ID 来快速定义文件。 
比如请求下边的文件： 
group1/M00/00/10/agIBmlee7fOATa1MAAFw6fBcZXY841.png 
 
1.通过组名tracker能够很快的定位到客户端需要访问的存储服务器组是group1，并选择合适的存储服务器提供客户端访问。 
2.存储服务器根据“文件存储虚拟磁盘路径”和“数据文件两级目录”可以很快定位到文件所在目录，并根据文件名找到客户端需要访问的文件。

个人理解

1.FastDFS是一个文件存储服务，无论是什么类型的文件都可以存储，不仅仅是可以用作图片服务器的。

2.上传文件的流程就是通过nginx进行http访问，nginx找到trackerServer,给了trackerServer一个文件，trackerServer拿到这个文件之后，根据自己的规则存储到指定的storageServer的相应路径下。 
同时，trackerServer会生成文件在服务器上的存储路径，通过nginx返回给客户端，客户端拿到这个路径，在前面加上服务器地址就可以访问这个文件了。

3.不难看出，在服务器上需要安装三个部分：分模块一步一步安装就不容易出错了

3.1 trackerServer

3.2 storageServer

3.3 nginx和fastDFS整合

安装准备

  1. 下面用到的软件到相关网站下载就可以了

  2. 安装libevent工具包

    yum -y install libevent

  3. 安装libfastcommonv1.0.7工具包

    • 解压缩
    • ./make.sh
    • ./make.sh install

安装步骤

本示例为单trackerServer和storageServer,集群不做说明

安装trackerServer

  1. 解压缩fastDFS_v5.05.tar.gz(tracker和storage在同一个包内，所以只需要解压一次)

    • .make.sh
    • .make.sh install

    安装完成后在/usr/bin/目录下有以fdfs开头的文件都是编译出来的。配置文件都放到/etc/fdfs文件夹。

  2. 把解压目录目录下的conf文件夹下的文件都复制到/etc/fdfs下

    cp /root/FastDFS/conf /etc/fdfs

  3. 配置tracker服务。修改/etc/fdfs/tracker.conf文件

    base_path=/home/yuqing/fastdfs

    将该路径改为自己定义的路径，该路径必须存在，用于存放数据和日志文件。

  4. 启动tracker

    启动：/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

    重启：/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

  5. 设置开机自动启动

    编辑配置：vim /etc/rc.d/rc.local

    添加命令：/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

安装storageServer

  1. 如果和trackerServer不是安装在同一台服务器，需要重复执行上个步骤中的1和2两个步骤。

  2. 配置storage服务。修改/etc/fdfs/storage.conf文件

    base_path=/home/yuqing/fastdfs:storage服务日志存放路径，该路径必须存在

    store_path0=/home/yuqing/fastdfs:图片的保存路径，该路径必须存在

    tracker_server=192.168.25.133:22122:指定tracker服务器的ip和端口

  3. 启动storageServer

    启动：/usr/bin/fdfs_storaged /etc/fdfs/storage.conf

    重启：/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

  4. 设置开机自启动

    编辑 vim /etc/rc.d/rc.local

    添加 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

  5. 修改防火墙设置，添加如下规则

    修改防火墙命令：vim /etc/sysconfig/iptables

    -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT 
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT 
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT 
    重启防火墙：service iptables restart

接下来就可以测试我们是否搭建成功了

完成测试

使用自带的test进行测试

  1. 配置客户端

    vim /etc/fdfs/client.conf：修改配置文件

    base_path=/home/fastdfs/client:客户端日志文件保存路径

    tracker_server=192.168.25.133:22122:指定tracker的ip和端口

  2. 测试

    /usr/bin/fdfs_test /etc/fdfs/client.conf upload /root/test.jpg:在Linux内部进行图片上传

  3. 结果

    当出现如下画面时，说明配置成功了,其中的地址即为该文件的访问地址。但是此时我们还不可以通过外网访问，因为还没有配置http服务，接下来，安装Nginx。 
    成功示例

搭建Nginx提供Http外网访问

使用官方提供的nginx插件fastdfs-nginx-module_v1.16.tar.gz，对nginx重新编译。

  1. 解压插件压缩包 （本例为root目录下）

    tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

  2. 修改解压缩包文件下的/root/fastdfs-nginx-module/src/config文件

    把其中的local去掉，如下图： 
    示例

  3. 解压缩nginx,并进入该目录

    tar -zxf nginx-1.8.0.tar.gz

  4. 对nginx进行config

    ./configure \

    --prefix=/usr/local/nginx \

    --pid-path=/var/run/nginx/nginx.pid \

    --lock-path=/var/lock/nginx.lock \

    --error-log-path=/var/log/nginx/error.log \

    --http-log-path=/var/log/nginx/access.log \

    --with-http_gzip_static_module \

    --http-client-body-temp-path=/var/temp/nginx/client \

    --http-proxy-temp-path=/var/temp/nginx/proxy \

    --http-fastcgi-temp-path=/var/temp/nginx/fastcgi \

    --http-uwsgi-temp-path=/var/temp/nginx/uwsgi \

    --http-scgi-temp-path=/var/temp/nginx/scgi \

    --add-module=/root/fastdfs-nginx-module/src

    注意：

    最后一行--add-module=/root/fastdfs-nginx-module/src其中的/root/fastdfs-nginx-module/src 
    为fastdfs-nginx-module_v1.16.tar.gz的解压路径。

    上边将临时文件目录指定为/var/temp/nginx，需要在/var下创建temp及nginx目录

  5. 安装nginx

    make

    make install

  6. 复制并修改nginx和fasts整合的配置文件

    cp /root/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs

    vim /etc/fdfs/mod_fastdfs.conf

    base_path=/tmp 日志存放位置

    tracker_server=192.168.25.133:22122 tracerServer的服务器地址

    url_have_group_name = true 是否包含组名group

    store_path0=/home/fastdfs/storage 图片保存路径，就是包含data的那个路径，这个别弄错了

  7. 复制文件

    cp /usr/lib64/libfdfsclient.so /usr/lib/ 32位软件

  8. 修改nginx访问配置

    server {
    listen       80;
    server_name  192.168.25.133;
    location /group1/M00/{
        #root /home/FastDFS/fdfs_storage/data;
        ngx_fastdfs_module;`
    }
}

  9. 设置nginx自启动

    ① 首先编写脚本文件

    vi /etc/init.d/nginx

    nginxd=/usr/local/nginx/sbin/nginx
nginx_config=/usr/local/nginx/conf/nginx.conf
nginx_pid=/var/run/nginx.pid
RETVAL=0
prog="nginx"

. /etc/rc.d/init.d/functions

. /etc/sysconfig/network

[ ${NETWORKING} = "no" ] && exit 0
[ -x $nginxd ] || exit 0

start() {
if [ -e $nginx_pid ];then
echo "nginx already running...."
exit 1
fi
echo -n $"Starting $prog: "
daemon $nginxd -c ${nginx_config}
RETVAL=$?
echo
[ $RETVAL = 0 ] && touch /var/lock/subsys/nginx
return $RETVAL
}

stop() {
    echo -n $"Stopping $prog: "
    killproc $nginxd
    RETVAL=$?
    echo
    [ $RETVAL = 0 ] && rm -f /var/lock/subsys/nginx /var/run/nginx.pid
}

reload() {
    echo -n $"Reloading $prog: "
    killproc $nginxd -HUP
    RETVAL=$?
    echo
}

case "$1" in
start)
    start
    ;;
stop)
    stop
    ;;
reload)
    reload
    ;;
restart)
    stop
    start
    ;;
status)
    status $prog
    RETVAL=$?
    ;;
*)
echo $"Usage: $prog {start|stop|restart|reload|status|help}"
exit 1
esac
exit $RETVAL

    wq保存退出

    ② 设置文件的访问权限

    `chmod a+x /etc/init.d/nginx`
(a+x ==> all user can execute  所有用户可执行)

    ③ nginx状态、启动、重启、停止

    /etc/init.d/nginx status 查看状态

    /etc/init.d/nginx start 启动

    /etc/init.d/nginx stop 停止

    /etc/init.d/nginx restart 重启

    ④加入到rc.local文件中

    vim /etc/rc.local

    /etc/init.d/nginx start 下次系统重启后，nginx会自启动

  10. 现在就可以用外网访问已经上传的图片了

    我们可以用内部测试test工具来进行上传图片（返回本文档第一部分查看），将返回的结果复制到浏览器，就可以访问上传的文件了。图片的话会直接在浏览器打开。

    终于搭建好了，不过还没完，还要和Java进行结合，才能利用起来。

转载于:https://my.oschina.net/zhangzexing/blog/900001

chenyiwen5489
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
FastDFS 搭建过程
08-17
FastDFS 搭建过程 FastDFS 是一个开源的高性能分布式文件系统（DFS），它的主要功能包括文件存储、文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB ）...
Fastdfs搭建
08-08
#### 五、FastDFS搭建步骤 下面详细介绍 FastDFS 的搭建过程： 1. **准备工作**： - 将 FastDFS 相关文件上传至 Linux 系统。 - 需要预先安装 libevent 工具包，可以通过 `yum -y install libevent` 命令完成安装...
FastDFS搭建所需文件
06-15
这个"FastDFS搭建所需文件"可能包含了这些内容。FastDFS的核心组件包括：Tracker服务器、Storage服务器和客户端库。Tracker服务器负责调度和管理Storage服务器，存储文件的元数据信息；Storage服务器则实际存储文件...
Nginx+FastDFS搭建图片服务器的方法实现
09-29
Nginx和FastDFS是两种常用于搭建图片服务器的工具，前者主要负责静态资源的分发，后者则专注于文件的存储与管理。下面详细介绍如何使用Nginx和FastDFS共同搭建图片服务器，并提供配置示例及执行过程。 ### 1. 环境...
H为供应链的变革、模式和方法.pdf
08-24
H为供应链的变革、模式和方法.pdf
java源码资源很强的Java加密解密算法源码
08-24
java源码资源很强的Java加密解密算法源码提取方式是百度网盘分享地址
五、前后端分离通用权限系统（5）gansu-system-front.zip
08-24
五、前后端分离通用权限系统（5）gansu-system-front.zip
CIMPLICITY.zip
08-24
CIMPLICITY.zip
一个R语言与微信公众号接口的实践_Example-for-R-Weixin.zip
08-24
一个R语言与微信公众号接口的实践_Example-for-R-Weixin
java源码资源电子书店管理系统java源码资源电子书店管理系统
08-24
java源码资源电子书店管理系统java源码资源电子书店管理系统提取方式是百度网盘分享地址
源代码-单文件CMS学习参考.zip
08-24
源代码-单文件CMS学习参考.zip 源代码-单文件CMS学习参考.zip 源代码-单文件CMS学习参考.zip 源代码-单文件CMS学习参考.zip 源代码-单文件CMS学习参考.zip 源代码-单文件CMS学习参考.zip 源代码-单文件CMS学习参考.zip 源代码-单文件CMS学习参考.zip
源码c语言实现类似弹力球效果源码c语言实现类似弹力球效果
最新发布
08-24
源码c语言实现类似弹力球效果源码c语言实现类似弹力球效果提取方式是百度网盘分享地址
基于M453的智能家居源集成语音播报生物识别技术射频识别技术
08-24
智能家居设计资料基于M453的智能家居源集成语音播报生物识别技术射频识别技术提取方式是百度网盘分享地址
黑苹果引导OC-0.8.2
08-24
苹果OC引导，即OpenCore引导，是一种用于在非苹果硬件上安装和运行macOS操作系统的引导加载程序。OpenCore提供了更接近苹果原生引导体验的功能，使得黑苹果的安装和使用变得更加便捷和稳定。 与传统的Clover引导相比，OpenCore引导具有以下优势： 更接近原生：OpenCore通过更深入地模拟macOS的启动环境，使得非官方硬件平台上的macOS系统表现更接近原生系统。 更好的兼容性：OpenCore支持更多的硬件设备和macOS版本，能够提供更好的兼容性和稳定性。 更易于配置：OpenCore的配置文件结构更为清晰，配置过程也更为直观和简单。 在使用OC引导安装或运行macOS时，可能会遇到各种问题，如启动卡代码、设备无法识别等。针对这些问题，可以通过以下方式解决： 检查配置文件：确保config.plist文件中的各项设置正确无误，特别是设备属性和驱动程序部分。 更新固件和驱动程序：确保主板固件和所有必要的驱动程序都是最新版本，以解决已知的兼容性问题。 查看日志和错误信息：通过OC引导提供的日志和错误信息来定位问题所在，并尝试找到相应的解决方案。
Python批量为照片应用灰度滤镜和写生素描滤镜.zip
08-24
包含两个OpenCV-Python项目，专注于图像处理领域。第一个项目是批量为照片应用写生素描滤镜的Python源码示例，使用OpenCV库实现艺术效果。第二个项目则是应用灰度滤镜，将彩色照片转换为单色图像，用于强调纹理和形态。这两个示例展示了OpenCV在图像滤镜应用中的强大功能，为图像编辑和视觉艺术创作提供了便捷的自动化解决方案。
使用YOLOv3进行目标检测（英文版）
08-24
本资料主要探讨了如何使用深度学习进行图像中的目标检测。介绍了人工神经网络和目标识别的基本理论，包括神经元和网络结构、激活函数、偏差等概念，以及卷积神经网络（CNN）在图像分类和目标检测中的应用。还阐述了YOLO（You Only Look Once）算法的原理，包括YOLOv1、YOLOv2和YOLOv3的理论背景和局限性。最后详细描述了项目的实施过程，包括数据集的准备、模型的训练和测试，以及系统的实现和最终结果的展示。
UDS刷写脚本-CANoe
08-24
UDS刷写脚本-CANoe
机器学习-Kmeans-决策树-神经网络NN算法.zip
08-24
深入探讨了机器学习中的三种关键算法：K-means聚类算法、决策树和神经网络（NN）。K-means算法专注于数据的无监督学习，用于将数据点分组成K个簇。决策树是一种监督学习算法，通过学习简单的决策规则从数据特征中推断出目标值。神经网络（NN）则模拟人脑处理信息的方式，适用于复杂的模式识别任务。
源代码-大站长电影网址大全 v20220507.zip
08-24
源代码-大站长电影网址大全 v20220507.zip 源代码-大站长电影网址大全 v20220507.zip 源代码-大站长电影网址大全 v20220507.zip 源代码-大站长电影网址大全 v20220507.zip 源代码-大站长电影网址大全 v20220507.zip 源代码-大站长电影网址大全 v20220507.zip 源代码-大站长电影网址大全 v20220507.zip 源代码-大站长电影网址大全 v20220507.zip
fastdfs搭建文件服务器
06-03
下面是在 Linux 系统上搭建 FastDFS 文件服务器的步骤： 1. 安装依赖库： ``` yum install -y gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel wget ``` 2. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值