2024年最全盘点分布式文件存储系统，埃森哲java技术面试题

2301_79099364

于 2024-05-08 05:28:52 发布

阅读量1k

点赞数 22

分类专栏：程序员文章标签：分布式 java 开发语言

本文链接：https://blog.csdn.net/2301_79099364/article/details/138554618

版权

程序员专栏收录该内容

200 篇文章 0 订阅

订阅专栏

最后

手绘了下图所示的kafka知识大纲流程图（xmind文件不能上传，导出图片展现），但都可提供源文件给每位爱学习的朋友

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

HDFS架构

3、TFS（Taobao FileSystem）

TFS是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，满足了淘宝对小文件存储的需求，被广泛地应用在淘宝各项应用中。它采用了HA架构和平滑扩容，保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构，可将文件名映射到文件的物理地址，简化了文件的访问流程，一定程度上为TFS提供了良好的读写性能。

4、Lustre

Lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，可以支持超过10000个节点，数以PB的数据量存储系统。目前Lustre已经运用在一些领域，例如HP SFS产品等。

5、 MooseFS

MooseFS是一款相对小众的分布式文件系统，不需要修改上层应用接口即可直接使用，支持FUSE的操作方式，部署简单并提供Web界面的方式进行管理与监控，同其他分布式操作系统一样，支持在线扩容，并进行横向扩展。MooseFS还具有可找回误操作删除的文件，相当于一个回收站，方便业务进行定制；同时MooseFS对于海量小文件的读写要比大文件读写的效率高的多。

但MooseFS的缺点同样明显，MFS的主备架构情况类似于MySQL的主从复制，从可以扩展，主却不容易扩展。短期的对策就是按照业务来做切分，随着MFS体系架构中存储文件的总数上升，Master Server对内存的需求量会不断增大。并且对于其单点问题官方自带的是把数据信息从Master Server同步到Metalogger Server上，Master Server一旦出问题Metalogger Server可以恢复升级为Master Server，但是需要恢复时间。目前，也可以通过第三方的高可用方案（heartbeat+drbd+moosefs）来解决 Master Server 的单点问题。

6、MogileFS

由memcahed的开发公司danga一款perl开发的产品，目前国内使用mogielFS的有图片托管网站yupoo等。MogileFS是一套高效的文件自动备份组件，由Six Apart开发，广泛应用在包括LiveJournal等web2.0站点上。

7. FastDFS

是一款类似Google FS的开源分布式文件系统，是纯C语言开发的。FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

8、GlusterFS

开源分布式横向扩展文件系统，可以根据存储需求快速调配存储，内含丰富的自动故障转移功能，且摈弃集中元数据服务器的思想。适用于数据密集型任务的可扩展网络文件系统，具有可扩展性、高性能、高可用性等特点。gluster于2011年10月7日被Red Hat收购。

9、 GridFS

MongoDB是知名的NoSQL数据库，GridFS是MongoDB的一个内置功能，它提供一组文件操作的API以利用MongoDB存储文件，GridFS的基本原理是将文件保存在两个Collection中，一个保存文件索引，一个保存文件内容，文件内容按一定大小分成若干块，每一块存在一个Document中，这种方法不仅提供了文件存储，还提供了对文件相关的一些附加属性（比如MD5值，文件名等等）的存储。文件在GridFS中会按4MB为单位进行分块存储。

在这里插入图片描述

三、分布式文件系统的对比

==============================================================================

1、整体对比

| 文件系统 | 开发者 | 开发语言 | 开源协议 | 易用性 | 适用场景 | 特性 | 缺点 |

| — | — | — | — | — | — | — | — |

| GFS | Google | | 不开源 | | | | |

| Lustre | SUN | C | GPL | 复杂，而且严重依赖内核，需要重新编译内核 | 大文件读写 | 企业级产品，非常庞大，对内核和ext3深度依赖 | |

2、特性对比

| — | — | — | — | — | — | — | — | — | — |

| HDFS | 文件 | 私有协议（TCP） | 占用MDS | 支持 | | 存在 | 不支持 | 支持 | 不支持POSIX |

| Ceph | 对象/文件/块 | 私有协议（TCP） | 占用MDS | 支持 | 支持 | 存在 | 不支持 | 支持 | POSIX |

| Lustre | 对象 | 私有协议（TCP）/ RDAM（远程直接访问内存） | 双MDS | 支持 | 不支持 | 存在 | 未知 | 支持 | POSIX/MPI |

| MooseFS | 块 | 私有协议（TCP） | 占用MFS | 支持 | 支持 | 存在 | 不支持 | 支持 | POSIX |

| MogileFS | 文件 | HTTP | 占用DB | 支持 | 不支持 | 存在 | 不支持 | 不支持 | 不支持POSIX |

| FastDFS | 文件/块 | 私有协议（TCP） | 无 | 支持 | 支持 | 不存在 | 部分支持 | 不支持 | 不支持POSIX |

| GlusterFS | 文件/块 | 私有协议（TCP）/RDAM（远程直接访问内存） | 无 | 支持 | 支持 | 不存在 | 支持 | 支持 | POSIX |

| TFS | 文件 | 私有协议（TCP） | 占用NS | 支持 | 支持 | 存在 | 支持 | 未知 | 不支持POSIX |

什么是POSIX？

POSIX表示可移植操作系统接口（Portable Operating System Interface of UNIX，缩写为 POSIX ），也就是Unix下应用程序共同遵循的一种规范。支持POSIX的应用程序意味着在各个Unix系统间提供了跨平台运行的支持。

四、选型参考

========================================================================

适合做通用文件系统的有：Ceph，Lustre，MooseFS，GlusterFS；
适合做小文件存储的文件系统有：Ceph，MooseFS，MogileFS，FastDFS，TFS；
适合做大文件存储的文件系统有：HDFS，Ceph，Lustre，GlusterFS，GridFS；
轻量级文件系统有：MooseFS，FastDFS；
简单易用，用户数量活跃的文件系统有：MooseFS，MogileFS，FastDFS，GlusterFS；
支持FUSE挂载的文件系统有：HDFS，Ceph，Lustre，MooseFS，GlusterFS。

感受：

其实我投简历的时候，都不太敢投递阿里。因为在阿里一面前已经过了字节的三次面试，投阿里的简历一直没被捞，所以以为简历就挂了。

特别感谢一面的面试官捞了我，给了我机会，同时也认可我的努力和态度。对比我的面经和其他大佬的面经，自己真的是运气好。别人8成实力，我可能8成运气。所以对我而言，我要继续加倍努力，弥补自己技术上的不足，以及与科班大佬们基础上的差距。希望自己能继续保持学习的热情，继续努力走下去。

也祝愿各位同学，都能找到自己心动的offer。

分享我在这次面试前所做的准备（刷题复习资料以及一些大佬们的学习笔记和学习路线），都已经整理成了电子文档

拿到字节跳动offer后，简历被阿里捞了起来，二面迎来了P9"盘问"

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

2301_79099364

关注

22
点赞
踩
19

收藏

觉得还不错? 一键收藏
0
评论
2024年最全盘点分布式文件存储系统，埃森哲java技术面试题

手绘了下图所示的kafka知识大纲流程图（xmind文件不能上传，导出图片展现），但都可提供源文件给每位爱学习的朋友本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友，可以点击这里获取 TFS是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。
复制链接

扫一扫