常见DFS数据分布分析

本文档详细分析了Lustre、HDFS、MooseFS和GlusterFS等典型分布式文件系统的数据分布方式,包括系统架构、数据分布特点和优缺点。Lustre以其高速性能和Stripe数据分布方式脱颖而出,但也存在数据安全性的挑战。HDFS以Namenode为中心,数据分块并创建副本,确保数据安全性,适用于大数据分析。MooseFS和GlusterFS则在数据分布和扩展性方面各有特色,其中GlusterFS的无元数据架构提供了灵活性,但遍历效率较低。每种DFS都有其适用场景,选择最合适而非最好的系统是关键。
摘要由CSDN通过智能技术生成

博客公告:

 (1)本博客所有博客文章搬迁至《博客虫http://blogchong.com/

                     (2)文章对应的源码下载链接参考博客虫网站首页的“代码GIT”;

                      (3)更多的相关文章更新,以及代码等,请关注博客虫网站,网站中有技术Q群,以及代码共享链接。

                 (4)该博客内容还会继续更新,不过会慢一些。

 



该文档为实实在在的原创文档,转载请注明:http://blog.sina.com.cn/s/blog_8c243ea30101litb.html

 

类型

详细

备注

该文档是几个典型分布式文件系统的总结,重点在于各个分布式文件系统的数据分布方式分析,顺带介绍系统架构及其优点缺点。

 

 

相关描述

²  其他相关文档请参考新浪博客http://blog.sina.com.cn/huangchongyuan

²  部分文档涉及到源码,有需要的博客留言,关注我的博客。

² 欢迎加入storm-分布式-IT技术交流群(191321336,群中有详细的资料,总体来说研究storm的人多点),一起讨论技术,一起分享代码,一起分享设计。

 


目录

1 文档说明... 1

2 典型DFS及其数据分布... 1

2.1 Lustre. 1

2.1.1系统架构... 1

2.1.2数据分布方式... 2

2.1.3系统优缺点... 3

2.2 HDFS. 3

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值