FastDFS的文件存储方式
==============
启动FastDFS后，可以去到我们刚才在storage.conf中配置的storage_path目录下，可以看到FastDFS在这个目录下创建了一个data目录，在data目录中创建了256*256个文件夹，用于分散存储数据，这样可以提高查找文件的效率。这个就是上文中所说的，FastDFS解决IO效率的一种手段，将文件分布到每个目录下，类似于Java中的HashMap，通过文件的HashCode，迅速判断文件的位置从而找到文件。
至此我们的FastDFS已经成功启动。
检查Linux上是否安装了GCC、libevent、libevent-devel
如果没有安装，则需进行安装
yum install gcc libevent libevent-devel -y
功能测试
====
上文中我们已经将FastDFS成功启动，并且可以看到启动后数据目录的变化。现在我们就可以使用客户端来测试一下FastDFS的功能了。
首先我们需要配置一下客户端，在/etc/fdfs目录下找到client.conf配置文件，进行如下的最小配置：
配置完毕后，需要在任意目录下，创建一个用于测试的文件。
创建好文件并写入内容后，就可以对已部署的fdfs进行各种方式的测试了。
首先是文件上传，FastDFS自带的客户端通过fdfs_test 配置文件 upload 需要上传的文件路径进行文件的上传，示例如下:
当执行完这条命令之后，我们可以看到文件上传到的storage server的一些信息，例如group_name，ip，端口等，还可以看到我们的文件上传到那个group，存在这个group的哪个路径下。
本次我们上传的文件通过返回信息，可以看到上传到group1下（因为我们只有一个storage并且只设置了一个group），上传到的路径为M00/ED/49/wKiJA19kwRqAI_g6AAAAEbcXlKw7921454，那么就可以到这个目录下查看一下这个文件是否已经上传成功了。
文件上传成功，但是这个目录下面不止存在我们刚才上传的文件，还存在其它的一些文件，这里做一下说明：
filename：为文件本体。
filename-m：为文件元数据，例如文件的类型、大小、如果是图片还有长度宽度等。
filename_big：为备份文件，如果存在主备服务器，那么该文件会存放到备份服务器上。
filename_big-m：文件元数据的备份，如果存在主备服务器，那么该文件会存放到备份服务器上。
文件下载，使用自带的FastDFS测试客户端，文件下载的方式与上传类似，使用fdfs_test 配置文件路径 download 组名 远程文件名称，即可下载该文件。
示例如下:
文件下载成功。
文件删除测试，使用fdfs_test 配置文件路径 delete 组名 远程文件名称示例如下：
发现仅存在文件备份，而文件本体已删除成功。
FastDFS的HTTP访问
==============
我们只使用了FastDFS自带的客户端测试工具来测试文件的上传、下载和删除，但是在实际状况下我们并不是这么操作文件的，而是通过程序发送请求来操作文件，那么就涉及到要通过HTTP访问文件，这里单纯依靠FastDFS就无法做到了，我们需要Nginx的配合。
Nginx的安装这里就不再赘述了，这里就默认大家都安装好了Nginx。这里直接进行nginx的配置。
配置之前我们首先需要一个nginx的扩展模块包——fastdfs-nginx-module，这里同样提供一个下载地址：fastdfs-nginx-module。
下载完成之后，将其上传到服务器并解压：
然后将mod_fastdfs.conf文件复制到/etc/fdfs目录下，并且修改它，修改项如下：
配置完成后我们需要将这个扩展模块新增到原来的nginx中：
修改nginx.conf文件，新增一个server:
然后重启nginx：
如果你的nginx和fastdfs都是启动状态，那么此时已经可以访问成功了。
访问成功
fastdfs-nginx-module的执行原理
=========================
完成了文件访问之后，我们复盘一下刚才我们做了什么，首先我们安装了nginx，然后将nginx的fastdfs扩展模块添加到nginx中，之后进行了一下扩展模块和nginx的配置，但在配置nginx的代理的时候，我们并没有像以前一样直接将代理地址写入配置中，而是将原来写代理地址的位置直接写了fastdfs扩展模块，那么这个模块究竟是如何运行起来的呢？
按照传统的nginx反向代理的配置方式，我们应该在拦截到请求之后，直接通过配置地址的方式，代理到目标服务器上，但是这里直接指向fastdfs模块，很显然，这个模块帮我们干了这件事。
还记得我们在扩展模块的配置文件中，配置了Tracker Server的地址吗？
当我们请求任意一个Group时，都会被nginx拦截下来然后发送给扩展模块，然后扩展模块通过我们配置的这个Tracker Server的地址，将请求转发给Tracker，Tracker会根据自己本地的group映射表，返回一个ip:port，例如我们刚才访问的是group1，那么扩展模块会将group1发送给Tracker， Tracker返回192.168.137.3:23000给nginx，然后扩展模块再通过这个地址，去访问storage，获取文件流，返回给浏览器。
扩展模块执行流程
FastDFS分布式集群搭建
==============
单点FastDFS跑通之后，有同学可能就会有疑惑，那这和我们之前的文件系统也没有很大差别啊，前面说的横向扩展、容灾备份我们也完全都没有看到啊。
不急不急，这就来了。
刚才我们在一台机器上部署了FastDFS，并且测试了上传下载删除等功能，最后整合nginx完成了使用浏览器对文件的访问，并且了解了一下扩展模块的运行原理。这些是为了让大家更好的了解FastDFS，但是本篇文章主要介绍分布式文件系统，分布式文件系统最大的特点也就在于容灾备份、可扩展、高可用。那么接下来就是重头戏，来讲讲FastDFS分布式集群的搭建。
架构图
===
我们需要准备7台Linux虚拟机，来完成本次集群的搭建，包括1台Nginx，2台Tracker Server，4台Storage分为2个group，每个group中一主一备。
我这里准备的linux服务器信息如下：
其中Group1中的两台Storage相互备份，Group2中的两台Storage相互备份。
搭建
==
对这六台服务器，按照上文中的安装过程，依次安装Nginx和FastDFS。(步骤如上)
建议在安装之前执行yum命令先一次性将依赖包安装完成：
yum -y install gcc perl openssl openssl-devel pcre pcre-devel zlib zlib-devel libevent libevent-devel wget net-tools
配置集群
集群的配置和上面单体的配置有些许不同，由于我们是将Tracker和Storage拆开，所以在装Tracker的服务器上并不需要进行Storage的配置，同理在装Storage的机器上也不需要进行Tracker的配置。
Tracker(101和102服务器)需要配置的点：
Storage(103 104 105 106服务器)需要配置的点：
storage配置
集群启动
====
使用fdfs_trackered 配置文件路径来启动trakcer：
Tracker启动
使用fdfs_stroaged 配置文件路径来启动storage：
我们可以在任意一台storage服务器中，使用fdfs_monitor /etc/fdfs/storage.conf命令来查看整个集群的状态：
可以看到集群已经搭建成功了，并且我们可以看到每个storage的状态信息，例如每个节点的所属组、IP、存储空间大小、HTTP端口、是否启动、连接的tracker server等等。
集群测试
====
在六台机器中随意找一台配置client.conf文件，配置项如下：
然后创建一个用于测试上传功能的文件，创建完毕后，使用fdfs_upload_file进行上传，由于我们设置的上传模式是轮询，所以记住要多上传几遍，才能看出效果。
集群上传文件
上传效果，可以看到group1的两台机器互为备份，而group2的两台机器互为备份。
负载均衡策略
======
刚才我们设置的上传策略是轮询，所以我们可以看到，每次在上传的时候，都会切换到与上一次不同的group中。FastDFS可以设置三种不同的负载均衡策略，分别是：轮询、指定一个group上传、选择一个剩余空间最多的group进行上传。
由于篇幅有限，这里就不一一测试了，感兴趣的同学可以在线下进行测试。
访问集群中的文件
========
做一个简单的回顾，上文中在配置单体的FastDFS时，我们是如何通过HTTP访问文件的？
我们使用了nginx，安装了fastdfs的扩展模块，然后在nginx中做了一个反向代理指向扩展模块，扩展模块去请求我们的tracker server获取到group对应的storage服务器的ip端口号等信息，然后扩展模块拿到这个信息之后，就去storage server中获取文件流，返回给浏览器。
所以FastDFS集群也一样，我们也需要通过nginx来访问文件，但是这里的配置略微有些不同。
我们得分这么几种情况来配置nginx：Tracker、Storage、入口服务器。
Tracker Server的nginx配置：
启动nginx，如果nginx的work process没有正常启动，需要将mod_fastdfs.conf、fastdfs解压包目录中的mime.types和http.conf复制到/etc/fdfs目录下。
Storage Server的nginx配置：
首先需要配置mod_fastdfs.conf
nginx配置:
然后启动Storage的nginx。
测试一下访问：
测试访问
集群访问流程
======
实际我们刚才不论是访问哪台服务器，都是可以正常访问到这个文件的。
我们可以来推一下刚才的访问流程，我们刚才在tracker中配置了stroage的负载均衡，而在stroage的反向代理中配置了fastdfs的扩展模块。
假设我们访问的是tracker，那么tracker服务器我们配置了负载均衡，负载均衡会自动路由到任意一台storage上，storage上配置了扩展模块，会带上我们访问的group去请求tracker，tracker返回这个group的storage的ip和端口号。
那么假设我们访问的是storage，那么storage里的扩展模块就直接携带我们的url中的group去访问tracker，一样也能找到storage的ip和端口。
小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）
笔者福利
以下是小编自己针对马上即将到来的金九银十准备的一套“面试宝典”，不管是技术还是HR的问题都有针对性的回答。
有了这个，面试踩雷？不存在的！
回馈粉丝，诚意满满！！！
-1710758239077)]
[外链图片转存中…(img-vPaXirRW-1710758239079)]
[外链图片转存中…(img-ghYsPkda-1710758239080)]
由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）
[外链图片转存中…(img-SzN79zXR-1710758239080)]
笔者福利
以下是小编自己针对马上即将到来的金九银十准备的一套“面试宝典”，不管是技术还是HR的问题都有针对性的回答。
有了这个，面试踩雷？不存在的！
回馈粉丝，诚意满满！！！
[外链图片转存中…(img-fJgIlZOr-1710758239082)]
[外链图片转存中…(img-wpUmRwLe-1710758239082)]
[外链图片转存中…(img-AY1rkdZn-1710758239084)]
[外链图片转存中…(img-GwNs2F5p-1710758239085)]
6596
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
