分布式文件系统之FastDfs

最新推荐文章于 2024-03-18 14:16:49 发布
最新推荐文章于 2024-03-18 14:16:49 发布
阅读量200 收藏
点赞数 1
分类专栏： 分布

本文引用至：https://sh.qihoo.com/pc/detail?url=https%3A%2F%2Fwww.toutiao.com%2Fi6642852421280203277%2F&check=edce824a247c0dfa&sign=baike&uid=15484592.2690209269186620000.1543843680589.368

一、 什么是fastDfs

fastDfs是一个轻量级分布式文件系统，它对文件进行管理，功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

二、 为什么要使用fastDfs

在单体应用时代可以使用 apache的common-fileupload或者struts进行文件的上传下载，但是对于海量的数据，文件资源和程序都放在一起会影响性能，特别是针对现在的微服务框架，更需要使用分布式的文件系统去上传，下载图片或者文件，对于海量的文件存储，fastDfs是个不错的选择。

fastDfs有两个重要的部件：

① 跟踪器（tracker）

简单来说就是控制文件上传的路由，负责分配文件的地址，保持周期性心跳。

② 存储节点（storage）

相当于一个存贮的容器，以 group 为单位，每个 group 内可以有多台 storage server。

引用官方的一个原理图

三、 如何安装

安装的教程网上是有很多的，这里不再过多的阐述。

这里针对linux版本的单节点的安装推荐两篇网上的安装教程：

https://blog.csdn.net/zxl315/article/details/53535751

http://www.cnblogs.com/adolfmc/p/4239575.html

主要有这4个配置文件

如果需要配置修改fastDfs的密码的话，可以修改下图的这个地方

四、 如何使用

1. 引入依赖

在javaweb程序中使用的时候，如果项目没有使用maven，需要下载jar包 fastdfs_client_v1.19.jar,然后引入。

如果是maven项目的话，需要在pom.xml文件中引入fastdfs_client 依赖。

 

 

org.csource

 

fastdfs-client-java

 

5.0.4

 

 

2. 配置参数

在src/main/resource 下创建 fdfs_client.conf 配置文件

#fdfs_client.conf 配置

connect_timeout = 10

 

network_timeout = 30

 

charset = UTF-8

 

http.tracker_http_port = 8888

 

http.anti_steal_token = no

 

http.secret_key = FastDFS1234567890

 

tracker_server = 192.168.220.88:22122

 

#如果有多台服务，指定集群的IP

 

#tracker_server = 192.168.220.89:22122

 

#tracker_server = 192.168.220.90:22122

 

 

3. 工具类

1) 初始化

初始化fastDfs的跟踪器和存储器，上传和下载的时候就可以调用这个初始化了。

	/**

 

* @Description:初始化fastDfs

 

* @author: jhy

 

* @date: 2017年10月31日 上午9:52:16

 

*/

 

public static Map init() {

 

Map map = new HashMap();

 

try {

 

String classPath = new File(FastDfsUtil.class.getResource("/").getFile()).getCanonicalPath();

 

classPath = URLDecoder.decode(classPath,"utf-8");

 

String configFilePath = classPath + File.separator + "fdfs_client.conf";

 

logger.info("配置文件：" + configFilePath);

 

// 初始化参数

 

ClientGlobal.init(configFilePath);

 

// 初始化跟踪器

 

TrackerClient trackerClient = new TrackerClient();

 

TrackerServer trackerServer = trackerClient.getConnection();

 

// 初始化存储器

 

StorageServer storageServer = null;

 

StorageClient storageClient = new StorageClient(trackerServer, storageServer);

 

map.put("trackerClient", trackerClient);

 

map.put("trackerServer", trackerServer);

 

map.put("storageClient", storageClient);

 

map.put("storageServer", storageServer);

 

return map;

 

} catch (Exception e) {

 

e.printStackTrace();

 

}

 

return null;

 

}

 

2) 上传文件

通过传入file和文件名，上传成功返回上传成功的路径

	/**

 

* @Description:上传文件

 

* @author: jhy

 

* @date: 2017年10月25日 上午9:28:52

 

* @param:file:上传文件流

 

*/

 

public static Map upload(File file, String fileName) {

 

Map map = new HashMap();

 

try {

 

// 初始化fastDfs

 

Map initMap = FastDfsUtil.init();

 

TrackerClient trackerClient = (TrackerClient) initMap.get("trackerClient");

 

TrackerServer trackerServer = (TrackerServer) initMap.get("trackerServer");

 

StorageClient storageClient = (StorageClient) initMap.get("storageClient");

 

// 初始化参数

 

NameValuePair[] meta_list = new NameValuePair[3];

 

meta_list[0] = new NameValuePair("width", "120");

 

meta_list[1] = new NameValuePair("heigth", "120");

 

meta_list[2] = new NameValuePair("author", "jhy");

 

//获取文件后缀名

 

String prefix = fileName.substring(fileName.lastIndexOf(".") + 1);

 

FileInputStream fis = new FileInputStream(file);

 

byte[] file_buff = null;

 

if(fis != null){

 

int len = fis.available();

 

file_buff = new byte[len];

 

fis.read(file_buff);

 

}

 

logger.info("文件长度: " + file_buff.length);

 

// 声明组

 

String group_name = null;

 

// 根据跟踪器和组查找存储器

 

StorageServer[] storageServers = trackerClient.getStoreStorages(trackerServer, group_name);

 

if (storageServers == null) {

 

logger.info("无法找到存储器服务：" + storageClient.getErrorCode());

 

map.put("resCode", storageClient.getErrorCode());

 

map.put("resMsg", "无法找到存储器服务");

 

return map;

 

}else{

 

logger.info("存储器数量: " + storageServers.length);

 

for (int k = 0; k

 

logger.info("当前文件："+ k + 1 + ". " + "当前ip和端口" + storageServers[k].getInetSocketAddress().getAddress().getHostAddress() + ":" + storageServers[k].getInetSocketAddress().getPort());

 

}

 

}

 

// 开始时间

 

long startTime = System.currentTimeMillis();

 

// 文件上传返回结果

 

String[] results = storageClient.upload_file(file_buff, prefix, meta_list);

 

logger.info("上传耗费时间: " + (System.currentTimeMillis() - startTime) + " ms");

 

if (results == null){

 

logger.info("上传失败：" + storageClient.getErrorCode());

 

map.put("resCode", storageClient.getErrorCode());

 

map.put("resMsg", "上传失败");

 

return map;

 

}

 

//返回结果赋值给组

 

group_name = results[0];

 

String remote_filename = results[1];

 

logger.info("组名: " + group_name + ", 文件路径: " + remote_filename);

 

logger.info(storageClient.get_file_info(group_name, remote_filename).toString());

 

//根据跟踪器，组和文件路径查找跟踪服务器

 

ServerInfo[] servers = trackerClient.getFetchStorages(trackerServer, group_name, remote_filename);

 

if (servers == null){

 

logger.info("无法找到跟踪器服务：" + storageClient.getErrorCode());

 

map.put("resCode", trackerClient.getErrorCode());

 

map.put("resMsg", "无法找到跟踪器服务");

 

return map;

 

} else {

 

logger.info("跟踪服务器数量: " + servers.length);

 

for (int k = 0; k

 

logger.info("当前文件："+ k + 1 + ". " + "当前ip和端口" + servers[k].getIpAddr() + ":" + servers[k].getPort());

 

}

 

}

 

map.put("resCode", "0000");//代表上传成功

 

map.put("resMsg", remote_filename);

 

logger.info("上传成功");

 

trackerServer.close();

 

return map;

 

} catch (Exception e) {

 

e.printStackTrace();

 

map.put("resCode", "9999");

 

map.put("resMsg", "文件服务器连接异常");

 

}

 

return map;

 

}

 

3) 获取文件信息

通过传入组名和服务器保存的文件名称获取远程文件信息

	/**

 

* @Description:获取文件信息

 

* @author: jhy

 

* @date: 2017年10月31日 上午9:56:33

 

* @param:group_name：组名

 

* @param:remote_filename 文件名称

 

*/

 

public static Map getFileInfo(String group_name, String remote_filename) {

 

Map map = new HashMap();

 

try {

 

// 初始化fastDfs

 

Map initMap = FastDfsUtil.init();

 

StorageClient storageClient = (StorageClient) initMap.get("storageClient");

 

FileInfo fi = storageClient.get_file_info(group_name, remote_filename);

 

String sourceIpAddr = fi.getSourceIpAddr();

 

long size = fi.getFileSize();

 

logger.info("ip地址:" + sourceIpAddr + ",文件大小:" + size);

 

map.put("resCode", "0000");//代表下载成功

 

map.put("resMsg", fi);

 

logger.info("获取文件信息成功");

 

return map;

 

} catch (Exception e) {

 

e.printStackTrace();

 

}

 

return null;

 

}

 

4) 下载文件

通过组名和文件名下载服务器的文件。

 /**

 

* @Description:下载文件

 

* @author: jhy

 

* @date: 2017年10月31日 上午9:56:33

 

* @param:group_name：组名

 

* @param:remote_filename 文件名称

 

*/

 

public static Map download(String group_name, String remote_filename) {

 

Map map = new HashMap();

 

try {

 

// 初始化fastDfs

 

Map initMap = FastDfsUtil.init();

 

StorageClient storageClient = (StorageClient) initMap.get("storageClient");

 

byte[] b = storageClient.download_file(group_name, remote_filename);

 

logger.info("下载字节b:" + b);

 

if (b != null) {

 

map.put("resCode", "0000");//代表下载成功

 

map.put("resMsg", b);

 

logger.info("下载成功");

 

}else {

 

map.put("resCode", "9999");//代表下载失败

 

map.put("resMsg", b);

 

logger.info("下载失败");

 

}

 

return map;

 

} catch (Exception e) {

 

e.printStackTrace();

 

}

 

return null;

 

}

 

5) 测试

	 /**

 

* @Description:测试

 

* @author: jhy

 

* @date: 2017年10月25日 上午11:04:39

 

*/

 

public static void main(String[] args) {

 

// 上传

 

// File file = new File("E:\\pic.png");

 

// FastDfsUtil.upload(file,"E:\\pic.png");

 

// 下载

 

FastDfsUtil.download("group1", "M00/00/01/pqYBZVofaPeANx_UAACnTf3PBis648.png");

 

}

lin_007_
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
分布式文件系统FastDFS架构剖析
03-02
FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，GoogleFS以及FastDFS...
MinIO很强-让我放弃FastDFS拥抱MinIO的8个理由
热门推荐
字母哥博客
08-06 1万+
目前可用于文件存储的网络服务选择有很多，比如阿里云OSS、七牛云、腾讯云等等，但是收费都有点小贵。为了帮公司节约成本，之前一直是使用fastDFS作为文件服务器，准确的说是图片服务器。直到我发现了MinIO，我决定放弃FastDFS。 关于MinIO的使用方法，我就不说了。大家去看MinIO官网地址：docs.min.io/cn/ ，非常详细。我就从对比的角度来说说我为什么果断的放弃了fastDFS，转而使用MinIO作为图片存储服务器。 理由一：安装部署(运维)复杂度 之前公司在使用fastDFS的时候，
FastDFS收藏起来，现在开始用Minio吧
Maisuluo的博客
04-18 412
MinIO是全球领先的对象存储先锋，目前在全世界有数百万的用户。是一种恢复丢失和损坏数据的数学算法， Minio默认采用 Reed-Solomon code将数据拆分成N/2个数据块和N/2个奇偶校验块。这就意味着如果是16块盘，一个对象会被分成8个数据块、8个奇偶校验块，你可以丢失任意8块盘（不管其是存放的数据块还是校验块），你仍可以从剩下的盘中的数据进行恢复。
FastDFS软件性能那些事儿
最新发布
Huazie
03-18 349
FastDFS软件性能那些事儿 一直有人问我 FastDFS 的性能如何，我现在就用一句话回答好了：FastDFS 软件本身，不会成为性能瓶颈；FastDFS 集群的性能瓶颈，通常在磁盘 IO。接下来我分享几点 FastDFS 在性能方面做得还不错的地方（使用到的功能组件在基础库 libfastcommon 中）
Fast Dfs文件存储系统的使用
m0_51262858的博客
11-12 1169
FastDFS是一个开源的轻量级，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。国开发源的作用：费用便宜、重要资源掌握在自己手里、访问速度购买CDNOSS存储：第三方存储服务。优点：实现技术简单，不需要搭建服务，只调用服务提供方的api即可。缺点：你的数据在第三方手上，费用高。创业型（早期成本低，快速实现）FastDFS|MinIO：优点：数据保存企业自己手里，费用低；
FastDFS问题排查
xy100xy100xy100的博客
10-14 369
记一次FastDFS问题的排查。 FastDFS基本架构特点鲜明，分为tracker、storage两个模块，前者一个，后者多个，用以保证“分布式、冗余式”，因此后者一般多个服务器且一个服务器放一个，一台服务器允许同时具有tracker和storage（一般也的确如此，毕竟tracker不怎么占空间）。 tracker只作为汇总者、统计者、通知者角色，面向上层业务通知；storage除了业务上的“存储”，也有通知功能，但是仅面向tracker，用以让tracker知道自己的信息、实现间接对外开放和.
FastDFS(二)搭建单体应用
qq_41967899的博客
07-13 235
FastDFS单体应用搭建1 安装FastDFS环境1.1 安装需要的依赖包1.2 安装libfatscommon1.3 安装FastDFS1.4 关闭防火墙2 配置Tracker监听器2.1 配置tracker的配置文件，并且进行重命名2.2 修改tracker配置文件2.3 创建上面指定的地址2.4 启动Tracker2.5 查看Tracker是否已启动2.6 查看Tracker的文件目录3 ...
【分布式文件系统】FastDFS配置参数详解-存储器配置（storage.conf）
02-22
【分布式文件系统】FastDFS跟踪器（storage）配置文件，包含常用参数的解析说明
【分布式文件系统】FastDFS配置参数详解-客户端配置（client.conf）
02-27
【分布式文件系统】FastDFS客户端（client）配置文件，包含常用参数的解析说明
FastDFS安装
cyberpunk_Isme的博客
10-11 218
1.2 FastDFS搭建 1.2.1 安装FastDFS镜像 我们使用Docker搭建FastDFS的开发环境,虚拟机中已经下载了fastdfs的镜像，可以通过docker images docker pull morunchang/fastdfs 运行tracker docker run -d --name tracker --net=host morunchang/fastdfs sh tracker.sh 运行storage docker run -d --name storage --net=ho
fastDFS
qq_43226684的博客
11-18 943
fastdfs安装部署、迁移、数据同步
【开发技巧】– 什么你还在使用本地作为文件保存服务器？本文将带你了解，如何使用SpringBoot优雅的将文件上传至阿里云OSS、FastDFS（分布式文件系统）
12-21
1.1 业务背景 当今互联网项目，需求日渐增多，并且应用服务器的压力也日渐增大，这时就引入了分布式系统的概念，然后又有了动静分离，即动态资源与静态资源分开，使后端的应用服务器专注业务请求的处理，并降低因为请求静态资源而为应用服务器带来的压力。 1.2 文件上传的实现方式有哪些？ 直接上传到应用服务器（缺点：增加应用服务器的压力）。 通过搭建私有云，比如通过FASTDFS搭建一个分布式文件系统。 使用第三方云存储（阿里云OSS、七牛云等）。 1.3 文件上传的实现 1.3.1 前置准备 1. 创建一个枚举类FileSourceEnum（用于后期实例化指定文件上传业务实现类） package co
swift ceph 性能对比
12-04
采用 Cosbench工具做的 swift Ceph性能对比
fastdfs安装步骤和需要的包，大家不用费劲下载了
05-04
fastDFS的安装步骤，所需包，以及在Java中需要的架包，需要注意的是，这个架包只能buildpath到项目中，不能放到maven仓库，否则会报找不到这个jar.
FastDFS 相关文件及其安装说明
03-27
在linux服务器上安装FastDFS所需要的安装文件，还有安装说明
FastDFS 分布式存储 实战
11-06
FastDFS分布式存储实战 来自于http://www.simlinux.com/archives/489.html博客分享,谢谢
关于分布式文件存储（fastdfs）
Hiber12的博客
08-04 477
一、为什么要搭建fastdfs集群？ 1、分布式文件存储就很多产品，现在这里用免费版的fastdfs，但是需要配置，就比较麻烦。有那种比较简单的也比较豪华的，拿来就直接使用，但是比较贵。 2、fastdfs是由c语言实现的开源轻量级分布式文件系统，解决了大数据存储和读写负载均衡等问题，适合存储4kb-500mb之间的小文件（图片，音视频文件等等），该软件的作者是阿里巴巴的大牛，叫庆余写的，开源免费的。 3、这里的实现方式：nginx和fastdfs 4、可以把图片或者音视频存储到fastdfs的服务器上，但
程序员这篇文章很重要！放弃FastDFS，拥抱MinIO的7大理由
Tom弹架构
06-18 1797
【大厂面试】大厂一面Java高级开发38K节选，也不算太难，HashMap八连问，大家看我回答的怎么样？目前可用于文件存储的网络服务选择也有不少，好比阿里云OSS、七牛云、腾讯云等等，可是收费都有点小贵。为了帮公司节约成本，以前一直是使用FastDFS做为文件服务器，准确的说是图片服务器。直到我发现了MinIO，我决定放弃FastDFS。另外，我花了1个多星期，准备了一份10W字的面试题解析配套文档，想获取的小伙伴可以扫描左侧二维码拿！先给大家介绍一下什么是MinIO。MinIO是专门为海量数据存储、人工智
分布式文件存储FastDFS
zzkeung的博客
08-19 2170
Table of Contents 1.FastDFS简介 FastDFS服务端两个角色 结构图 上传流程 2.FastDFS安装 运行tracker 运行storage 配置Nginx 3.业务实现 1.FastDFS简介 FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS服务端两个角...
FastDFS国产分布式文件系统
05-15
FastDFS是一种国产分布式文件系统，它是由中国深圳市淘宝网络有限公司开发的开源软件。FastDFS主要用于文件存储和文件访问，可以快速地存储海量文件，并提供高可靠性和高可扩展性。FastDFS利用分布式文件系统的优势...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值