FastDFS构成、特性、Linux下安装以及Java如何访问

最新推荐文章于 2024-08-21 12:31:08 发布
最新推荐文章于 2024-08-21 12:31:08 发布
阅读量211 收藏 1
点赞数 1
分类专栏： 分布式存储架构 文章标签： java 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44795847/article/details/123550893
版权

一、FastDFS 基础概念

1、为什么要有分布式文件系统

单机时代

  • 优点：文件访问比较便利，项目直接引用，实现起来简单，无需任何复杂技术，保存文件和访问文件都
    很方便。
  • 缺点：一方面，文件和代码耦合在一起，文件越多存放越混乱。另一方面，如果流量比较大，静态文件访问会占据一定的资源，影响正常业务进行，不利于网站快速发展。

独立文件服务器

  • 优点：Web/App服务器可以更专注发挥动态处理的能力。独立存储，更方便做扩容、容灾和数据迁移；方便做图片等资源请求的负载均衡，方便应用各种缓存策略（HTTP Header、Proxy Cache等），也更加方便迁移到CDN。
  • 缺点：单机存在性能瓶颈，容灾、垂直扩展性稍差

分布式文件系统

  • 优点：扩展能力: 毫无疑问，扩展能力是一个分布式文件系统最重要的特点；高可用性: 在分布式文件系统中，高可用性包含两层，一是整个文件系统的可用性，二是数据的完整和一致性；弹性存储: 可以根据业务需要灵活地增加或缩减数据存储以及增删存储池中的资源，而不需要中断系统运行。
  • 缺点：系统复杂度稍高，需要更多服务器

2、分布式存储解决方案对比

在这里插入图片描述

3、FastDFS概念

FastDFS是用C语言编写的一款开源的轻量级分布式文件系统。它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

4、FastDFS特性

  • 分组存储，灵活简洁、对等结构，不存在单点
  • 文件不分块存储，上传的文件和OS文件系统中的文件一一对应
  • 文件ID由FastDFS生成，作为文件访问凭证，FastDFS不需要传统的name server
  • 和流行的web server无缝衔接，FastDFS已提供apache和nginx扩展模块中、小文件均可以很好支持，支持海量小文件存储
  • 支持多块磁盘，支持单盘数据恢复
  • 支持相同内容的文件只保存一份，节约磁盘空间
  • 支持在线扩容 支持主从文件
  • 存储服务器上可以保存文件属性（meta-data）V2.0网络通信采用libevent，支持大并发访问，整体性能更好
  • 下载文件支持多线程方式，支持断点续传

5、FastDFS的构成

在这里插入图片描述

FastDFS由客户端(Client)、 跟踪服务器(Tracker Server)和存储服务器(Storage Server)构成。

  1. 客户端（client）
    客户端（client），作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。
  2. 跟踪器（tracker）
    Trackerserver作用是负载均衡和调度，通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。跟踪器在访问上起负载均衡的作用。可以随时增加或下线而不会影响线上服务。
  3. 存储节点（storage）
    Storageserver作用是文件存储，客户端上传的文件最终存储在Storage服务器上，Storage server没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。可以将storage称为存储服务器。存储节点中的服务器均可以随时增加或下线而不会影响线上服务。

6、Linux下FastDFS 安装

  1. 安装编译环境
yum install git gcc gcc-c++ make automake vim wget libevent -y
  1. 安装libfastcommon 基础库
mkdir /root/fastdfs
cd /root/fastdfs
git clone https://github.com/happyfish100/libfastcommon.git --depth 1
cd libfastcommon/
./make.sh && ./make.sh install
  1. 安装FastDFS
cd /root/fastdfs
wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz
tar -zxvf V5.11.tar.gz
cd fastdfs-5.11
./make.sh && ./make.sh install

#配置文件准备
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
cp /root/fastdfs/fastdfs-5.11/conf/http.conf /etc/fdfs
cp /root/fastdfs/fastdfs-5.11/conf/mime.types /etc/fdfs

vim /etc/fdfs/tracker.conf
#需要修改的内容如下
port=22122
base_path=/home/fastdfs

vim /etc/fdfs/storage.conf
#需要修改的内容如下
port=23000
base_path=/home/fastdfs # 数据和日志文件存储根目录
store_path0=/home/fastdfs # 第一个存储目录
tracker_server=192.168.211.136:22122
# http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)
http.server_port=8888
  1. 启动
mkdir /home/fastdfs -p
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
查看所有运行的端口
netstat -ntlp
  1. 测试上传
vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/home/fastdfs
#tracker服务器IP和端口
tracker_server=192.168.211.136:22122
#保存后测试,返回ID表示成功 如：group1/M00/00/00/xxx.png
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/fastdfs/1.png
group1/M00/00/00/wKjTiF7h5EWASb5aAACGZa9JdFo611.png
  1. 安装fastdfs-nginx-module
    在这里插入图片描述
cd /root/fastdfs
wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz
解压
tar -xvf V1.20.tar.gz
cd fastdfs-nginx-module-1.20/src
vim config
修改第5 行 和 15 行 修改成
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

cp mod_fastdfs.conf /etc/fdfs/

vim /etc/fdfs/mod_fastdfs.conf
#需要修改的内容如下
tracker_server=192.168.211.136:22122
url_have_group_name=true
store_path0=/home/fastdfs

mkdir -p /var/temp/nginx/client

7.安装nginx

cd /root/fastdfs
wget http://nginx.org/download/nginx-1.15.6.tar.gz
tar -zxvf nginx-1.15.6.tar.gz
cd nginx-1.15.6/
yum -y install pcre-devel openssl openssl-devel
# 添加fastdfs-nginx-module模块
./configure --add-module=/root/fastdfs/fastdfs-nginx-module-1.20/src

#编译安装
make && make install
查看模块是否安装上
/usr/local/nginx/sbin/nginx -V

vim /usr/local/nginx/conf/nginx.conf

#添加如下配置
server {
	listen 8888;
	server_name localhost;
		location ~/group[0-9]/ {
		ngx_fastdfs_module;
	}
}

/usr/local/nginx/sbin/nginx
  1. 测试下载
关闭防火墙
systemctl stop firewalld
http://192.168.211.136:8888/group1/M00/00/00/xxx.png
http://192.168.211.136:8888/group1/M00/00/00/wKjTiF7h5EWASb5aAACGZa9JdFo611.png

7、java 访问FastDFS

可以参考官方案例 https://github.com/happyfish100/fastdfs-client-java

  1. 建立maven 工程 引入jar包
<!--fastdfs的java客户端-->
<dependency>
	<groupId>cn.bestwu</groupId>
	<artifactId>fastdfs-client-java</artifactId>
	<version>1.27</version>
</dependency>
  1. 引入配置文件
#fastdfs-client.properties
fastdfs.connect_timeout_in_seconds = 5
fastdfs.network_timeout_in_seconds = 30
fastdfs.charset = UTF-8
fastdfs.tracker_servers = 192.168.211.136:22122
  1. 编写测试类
@Test
public void testUpload() {
	try {
		//加载配置文件
		ClientGlobal.initByProperties("fastdfs-client.properties");
		//创建tracker客户端
		TrackerClient tc = new TrackerClient();
		//根据tracker客户端创建连接 获取到跟踪服务器对象
		TrackerServer ts = tc.getConnection();
		StorageServer ss = null;
		//定义storage客户端
		StorageClient1 client = new StorageClient1(ts, ss);
		//文件元信息
		NameValuePair[] list = new NameValuePair[1];
		list[0] = new NameValuePair("fileName", "1.png");
		// 上传，返回fileId
		String fileId = client.upload_file1("****.png", "png", list);
		System.out.println(fileId);
	} catch (Exception e) {
		e.printStackTrace();
	}
}

@Test
public void testQuery() {
	try {
		//加载配置文件
		ClientGlobal.initByProperties("fastdfs-client.properties");
		// 创建tracker客户端
		TrackerClient tc = new TrackerClient();
		// 根据tracker客户端创建连接 获取到跟踪服务器对象
		TrackerServer ts = tc.getConnection();
		StorageServer ss = null;
		//定义storage客户端
		StorageClient1 client = new StorageClient1(ts, ss);
		// 查询文件信息
		FileInfo fileInfo = client.query_file_info1
		("group1/M00/00/00/****.png");
		System.out.println(fileInfo);
	} catch (Exception e) {
		e.printStackTrace();
	}
}

@Test
public void testDownload() {
	try {
		//加载配置文件
		ClientGlobal.initByProperties("config/fastdfs-client.properties");
		// 创建tracker客户端
		TrackerClient tc = new TrackerClient();
		// 根据tracker客户端创建连接
		TrackerServer ts = tc.getConnection();
		StorageServer ss = null;
		// 定义storage客户端
		StorageClient1 client = new StorageClient1(ts, ss);
		// 下载
		byte[] bs = client.download_file1
		("group1/M00/00/00/****.png");
		FileOutputStream fos = new FileOutputStream(new File("xxxx.png"));
		fos.write(bs);
		fos.close();
	} catch (Exception e) {
		e.printStackTrace();
	}
}
ckw@ldy
关注
专栏目录
FastDFS基础介绍
自律给我自由
08-20 5983
文章来源：拉勾教育Java高薪训练营第3期，程道老师 1、为什么要有分布式文件系统 单机时代 优点：文件访问比较便利，项目直接引用，实现起来简单，无需任何复杂技术，保存文件和访问文件都 很方便。 缺点：一方面，文件和代码耦合在一起，文件越多存放越混乱。另一方面，如果流量比较大，静态文件 访问会占据一定的资源，影响正常业务进行，不利于网站快速发展。 独立文件服务器 优点：Web/App服务器可以更专注发挥动态处理的能力。独立存储，更方便做扩容、容灾和...
Springboot2集成Fastdfs
第一行代码
10-16 619
fastdfs作为分布式文件系统，在项目中无论是存储文件还是图片等都是比较好的选择，可以将fastdfs搭建在自己的服务器中，这里使用的fastdfs是搭建在服务器的docker中，并且可以很方便的集成到springboot中 添加依赖 pom.xml中添加 <dependency> <groupId>com.github.tobato</...
FastDFS——从入门到入土（上）_fastdfs tracker
最新发布
2401_85957213的博客
08-21 548
FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete等，以客户端库的方式提供给用户使用FastDFS集群中的Tracker server可以有多台，Tracker server之间是相互平等关系，同时提供服务Trackerserver不存在单点故障。客户端请求Trackerserver采用轮询方式，如果请求的tracker无法提供服务则换另一个tracker。
SpringBoot-FastDFS
weixin_45203607的博客
09-23 2139
title: SpringBoot-Docker-FastDFS abbrlink: 289 date: 2021-02-13 11:31:58 author: 胡安民 toc: true top: false cover: false summary: categories: java-Spring家族 reprintPolicy: cc_by keywords: FastDfs tags: FastDFS Docker SpringBoot SpringBoot-Docker-FastDFS .
FastDFS工具类
weixin_45588345的博客
06-06 821
FastDFSFile.java 为 FastDFSClient.java上传文件所需要的对象 public class FastDFSFile { //文件名字 private String name; //文件内容 private byte[] content; //文件扩展名 private String ext; //文件MD5摘要值 private String md5; //文件创建作者 private String
Spring Boot FastDFS
11-01
Spring Boot将文件上传到分布式文件系统FastDFS。 resources目录下添加fdfs_client.conf文件 connect_timeout = 60 network_timeout = 60 charset = UTF-8 http.tracker_http_port = 8080 http.anti_steal_token = no http.secret_key = 123456 tracker_server = 192.168.53.85:22122 tracker_server = 192.168.53.86:22122
保姆级教程-分布式文件系统FastDFS（高效存储，有效解决大量资源上传下载）
m0_55070913的博客
03-09 570
官方网站：https://github.com/happyfish100/ 配置文档：https://github.com/happyfish100/fastdfs/wiki/ 参考资料：https://www.oschina.net/question/tag/fastdfs Java客户端：https://github.com/happyfish100/fastdfs-client-java 文章目录 为什么要学习分布式文件系统？ 什么是分布式文件系统？ FastDFS FastDFS是什么？.
FastDFS学习笔记
IT小浣熊的博客
01-01 6522
FastDFS入门浅学 文章目录FastDFS入门浅学一、FastDFS引言本地存储与分布式文件系统FastDFS概述FastDFS架构FastDFS环境搭建（虚拟机）1. 创建虚拟机克隆机2. 配置虚拟机3. 下载安装gcc4. 下载安装FastDFS5. 下载安装FastDFS依赖6. 解压缩依赖tar包7. 解压缩FastDFS的tar包8. 进入libfastcommon-1.0.369....
FastDFS的工作机制及优劣分析
程序了个猴
04-21 2949
一、FastDFS简介 FastDFS是一款开源的轻量级分布式文件系统，最早在ali，为易道用车架构师余庆所写。它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。FastDFS为互联网应用量身定做，追求高性能和高扩展性，更适合称作应用级的分布式文件存储服务。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，通用性较低。 在语言支持方面，目前提供了C、java、...
ssm整合fastdfs使用，实现文件的上传下载
失之东隅，收之桑榆
11-19 522
1.在pom文件中添加maven依赖 <dependency> <groupId>org.csource</groupId> <artifactId>fastdfs-client-java</artifactId> <version>1.29-SNAPSHOT</version> </dependency> 因为maven的中央仓库没有这个jar包，所以我们将fastdfs的
FastDfsUtil
braincer的博客
06-21 657
public class FastDFSClient { private TrackerClient trackerClient = null; private TrackerServer trackerServer = null; private StorageServer storageServer = null; private StorageClient1 storageC
FastDFS分布式文件系统工具类
01-05
直接调用工具类，返回参数即为fastdfs分布式文件系统的存储路径
fastDFS工具类及使用示例代码
02-05
这是一个工具类，使用fastDFS上传文件的工具类，比较方便的上传文件，注释里面有我的示例代码。
FastDFS例子和整理的工具类
10-31
FastDFS例子和整理的工具类，里面包含上传，下载，删除的例子，和整理好的工具类，可以直接使用，谁用谁知道。
SpringBoot整合FastDFS
weixin_58724261的博客
07-16 1313
FastDFS是一个开源的分布式文件系统，具有高性能、高可靠性和扩展性。它由跟踪器（Tracker）和存储节点（Storage Node）组成，并且可以方便地扩展存储容量。FastDFS支持文件上传、下载和删除等操作，适用于大规模的分布式文件存储场景。
fastdfs工具类
weixin_43939159的博客
07-22 350
分布式文件系统 fastdfs 支持文件下载与上传 import org.csource.common.NameValuePair; import org.csource.fastdfs.*; /** * fastDfs工具类 */ public class FastDfsUtil { //从classpath public static String CONF_FILENAME = FastDfsUtil.class.getClassLoader() .g
springboot集成fastDFS
罗罗的1024
10-26 356
配置文件 配置fdfs_client.conf配置文件 # 连接超时时间，针对socket套接字函数connect，默认为30秒 connect_timeout=30000 # 网络通讯超时时间，默认是60秒 network_timeout=60000 tracker_server = 47.98.159.15:22122 导入依赖 <dependency> <groupId>org.csource</groupId> &
SpringBoot 集成 FastDFS（附安装教程）
曹俊的博客
04-25 2720
FastDFS是用 c 语言编写的一款开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
FastDFS在Linux环境下的安装与使用教程
安装FastDFS通常需要在Linux环境下进行，首先需要安装必要的依赖库，然后编译安装FastDFS的源代码。安装过程中还需要配置Tracker和Storage的配置文件，如`fastdfs.conf`，设定服务器的IP地址、端口、工作模式等参数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值