手把手教你用 FastDFS 构建分布式文件管理系统

vi tracker.conf

修改如下配置：

默认端口是 22122，可以根据实际需求修改，我这里就不改了。然后下面配置一下元数据的保存目录（注意目录要存在）。

5.启动

接下来执行如下命令启动 Tracker：

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start

如此之后，我们的 Tracker 就算安装成功了。

2.2 Storage 安装

简单起见，这里我们搭建一个 Storage 实例即可。Storage 安装也需要 libevent 和 libfastcommon，这两个库的安装参考上文，这里我不在细说。

Storage 本身的安装，也和 Tracker 一致，执行命令也都一样，因为我这里将 Tracker 和 Storage 安装在同一台服务器上，所以不用再执行安装命令了（相当于安装 Tracker 时已经安装了 Storage 了）。

唯一要做的，就是进入到 /etc/fdfs 目录下，配置 Storage：

vi storage.conf

这里一共配置三个地方，分别是 base_path、store_path0 以及 tracker_server ，tracker_server 模板有两个地址，我们这里只有一个，配置完成后，记得注释掉另外一个不用的。

配置完成后，执行如下命令启动 Storage：

/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start

这两个启动完成后，现在就可以做文件的上传了，但是一般如果是图片文件，我们还需要提供一个图片的访问功能，目前来说最佳方案当然是 Nginx 了，所以我们这里连同 Nginx 一起配置好，再来做测试。

2.3 Nginx 安装

Nginx 可以算是 FastDFS 的重要搭档。

Nginx 的安装分为两个步骤：

• 安装 Nginx

• 首先在 Storage 下安装 fastdfs-nginx-module

第一步简单，松哥之前专门写过一篇文章扫盲 Nginx，所以 Nginx 安装大家直接参考这里：Nginx 极简入门教程！

接下来看第二步。

首先下载 fastdfs-nginx-module，下载地址：https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.22.tar.gz

考虑到 GitHub 访问较慢，松哥已经把安装文件下载好了，放在百度网盘上，小伙伴们可以在松哥公众号后台回复 fastdfs 获取下载链接。

下载完成后，将下载的文件拷贝到 /usr/local 目录下。然后进入 /usr/local 目录，分别执行如下命令：

cd /usr/local

tar -zxvf V1.22.tar.gz

然后将 /usr/local/fastdfs-nginx-module-1.22/src/mod_fastdfs.conf 文件拷贝到 /etc/fdfs/ 目录下，并修改该文件的内容：

vi /etc/fdfs/mod_fastdfs.conf

接下来，回到第一步下载的 nginx 安装文件的解压目录中，执行如下命令，重新配置编译安装：

./configure --add-module=/usr/local/fastdfs-nginx-module-1.22/src

make

make install

安装完成后，修改 nginx 的配置文件，如下：

vi /usr/local/nginx/conf/nginx.conf

在这里配置 nginx 请求转发。

配置完成后，启动 nginx，看到如下日志，表示 nginx 启动成功：

ngx_http_fastdfs_set pid=9908

疑问：fastdfs-nginx-module 有啥用

看了整个安装过程之后，很多小伙伴有疑问，到头来还是 nginx 本身直接找到了图片文件目录，fastdfs-nginx-module 到底有啥用？

前面我们说过，Storage 由很多组构成，每个组又是一个小的集群，在每一个组里边，数据会进行同步，但是如果数据还没同步，这个时候就有请求发来了，该怎么办？此时fastdfs-nginx-module 会帮助我们直接从源 Storage 上获取文件。

安装成功了。

3.Java 客户端调用

---

安装成功后，接下来我们就用 Java 客户端来测试一下文件上传下载。

首先我们来创建一个普通的 Maven 工程，添加如下依赖：

net.oschina.zcx7878

fastdfs-client-java

1.27.0.0

然后，在项目的 resources 目录下添加 FastDFS 的配置文件 fastdfs-client.properties，内容如下：

fastdfs.connect_timeout_in_seconds = 5

fastdfs.network_timeout_in_seconds = 30

fastdfs.charset = UTF-8

fastdfs.http_anti_steal_token = false

fastdfs.http_secret_key = FastDFS1234567890

fastdfs.http_tracker_http_port = 80

fastdfs.tracker_servers = 192.168.91.128:22122

fastdfs.connection_pool.enabled = true

fastdfs.connection_pool.max_count_per_entry = 500

fastdfs.connection_pool.max_idle_time = 3600

fastdfs.connection_pool.max_wait_time_in_ms = 1000

这里的配置基本上都能见名知义，我就不挨个解释了。这里先配置下 fastdfs.tracker_servers，这是 Tracker 的地址，根据实际情况配置即可。

fastdfs.http_secret_key 配置这里先不用管它，后面我会跟大家解释。

3.1 文件上传

配置完成后，先来看文件上传，代码如下：

@Test

void testUpload() {

try {

ClientGlobal.initByProperties(“fastdfs-client.properties”);

TrackerClient tracker = new TrackerClient();

TrackerServer trackerServer = tracker.getConnection();

StorageServer storageServer = null;

StorageClient1 client = new StorageClient1(trackerServer, storageServer);

NameValuePair nvp[] = null;

//上传到文件系统

String fileId = client.upload_file1(“C:\Users\javaboy\Pictures\picpick\1.png”, “png”,

nvp);

logger.info(fileId);

} catch (Exception e) {

e.printStackTrace();

}

}

这里，首先加载配置文件，然后构造一个 TrackerClient 对象，接着再根据这个对象获取到一个 TrackerServer，然后创建一个 StorageClient1 实例。NameValuePair 中保存的是文件的元数据信息，如果有的话，就以 key/value 的方式来设置，如果没有的话，直接给一个 null 即可。

最后，调用 client 的 upload_file1 方法上传文件，第一个参数是文件路径，第二个参数是文件的扩展名，第三个参数就是文件的元数据信息，这个方法的返回值，就是上传文件的访问路径。执行该方法，打印日志如下：

2020-02-29 17:46:03.017 INFO 6184 — [ main] o.j.fastdfs.FastdfsApplicationTests : group1/M00/00/00/wKhbgF5aMteAWy0gAAJkI7-2yGk361.png

group1/M00/00/00/wKhbgF5aMteAWy0gAAJkI7-2yGk361.png 就是文件的路径，此时，在浏览器中输入 http://192.168.91.128/group1/M00/00/00/wKhbgF5aMteAWy0gAAJkI7-2yGk361.png 就可以看到上传的图片了。

3.2 文件下载

@Test

void testDownload() {

try {

ClientGlobal.initByProperties(“fastdfs-client.properties”);

TrackerClient tracker = new TrackerClient();

TrackerServer trackerServer = tracker.getConnection();

StorageServer storageServer = null;

StorageClient1 client = new StorageClient1(trackerServer, storageServer);

byte[] bytes = client.download_file1(“group1/M00/00/00/wKhbgF5aMteAWy0gAAJkI7-2yGk361.png”);

FileOutputStream fos = new FileOutputStream(new File(“C:\Users\javaboy\Pictures\picpick\666.png”));

fos.write(bytes);

fos.close();

} catch (Exception e) {

e.printStackTrace();

}

}

这段代码就很好理解了，直接调用 download_file1 方法获取到一个 byte 数组，然后通过 IO 流写出到本地文件即可。

4.安全问题

---

现在，任何人都可以访问我们服务器上传文件，这肯定是不行的，这个问题好解决，加一个上传时候的令牌即可。

首先我们在服务端开启令牌校验：

vi /etc/fdfs/http.conf

配置完成后，记得重启服务端：

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

总结：绘上一张Kakfa架构思维大纲脑图（xmind）

其实关于Kafka，能问的问题实在是太多了，扒了几天，最终筛选出44问：基础篇17问、进阶篇15问、高级篇12问，个个直戳痛点，不知道如果你不着急看答案，又能答出几个呢？

若是对Kafka的知识还回忆不起来，不妨先看我手绘的知识总结脑图（xmind不能上传，文章里用的是图片版）进行整体架构的梳理

梳理了知识，刷完了面试，如若你还想进一步的深入学习解读kafka以及源码，那么接下来的这份《手写“kafka”》将会是个不错的选择。

• Kafka入门

• 为什么选择Kafka

• Kafka的安装、管理和配置

• Kafka的集群

• 第一个Kafka程序

• Kafka的生产者

• Kafka的消费者

• 深入理解Kafka

• 可靠的数据传递

• Spring和Kafka的整合

• SpringBoot和Kafka的整合

• Kafka实战之削峰填谷

• 数据管道和流式处理(了解即可)

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！
版）进行整体架构的梳理

梳理了知识，刷完了面试，如若你还想进一步的深入学习解读kafka以及源码，那么接下来的这份《手写“kafka”》将会是个不错的选择。

• Kafka入门

• 为什么选择Kafka

• Kafka的安装、管理和配置

• Kafka的集群

• 第一个Kafka程序

• Kafka的生产者

• Kafka的消费者

• 深入理解Kafka

• 可靠的数据传递

• Spring和Kafka的整合

• SpringBoot和Kafka的整合

• Kafka实战之削峰填谷

• 数据管道和流式处理(了解即可)

[外链图片转存中…(img-zX3YQKhl-1712442979783)]

[外链图片转存中…(img-uqirbLoq-1712442979783)]

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！