云分布式文件系统

普通存储方案:Rsync、DAS(IDE/SATA/SAS/SCSI等块)、NAS(NFS、CIFS、SAMBA等文件系统)、SAN(FibreChannel, iSCSI, FoE存储网络块),Openfiler、FreeNas(ZFS快照复制)由于生产环境中往往由于对存储数据量很大,而SAN存储价格又比较昂贵,因此大多会选择分布式

存储来解决一下问题:

  1. 海量数据存储问题
  2. 数据高可用问题(冗余备份)问题
  3. 较高的读写性能和负载均衡问题
  4. 支持多平台多语言问题
  5. 高并发问题

二、常用的分布式文件系统

常见的分布式文件系统有FastDFS,GFS、HDFS、Ceph 、GridFS 、mogileFS、TFS等,各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务:

指标

适合类型

文件分布

系统性能

复杂度

FUSE

POSIX

备份机制

通讯协议接口

社区支持

去重

开发语言

FastDFS

4KB~500MB

小文件合并存储不分片处理

很高

简单

不支持

不支持

组内冗余备份

Api

HTTP

国内用户群

 

C语言

TFS

所有文件

小文件合并,以block组织分片

 

复杂

不支持

不支持

Block存储多份,主辅灾备

API

http

 

C++

MFS

大于64K

分片存储

Master占内存多

 

支持

支持

多点备份动态冗余

使用fuse挂在

较多

 

Perl

HDFS

大文件

大文件分片分块存储

 

简单

支持

支持

多副本

原生api

较多

 

java

Ceph

对象文件块

OSD一主多从

 

复杂

支持

支持

多副本

原生api

较少

 

C++

MogileFS

海量小图片

 

复杂

可以支持

不支持

动态冗余

原生api

文档少

 

Perl

ClusterFS

大文件

 

 

简单

支持

支持

镜像

 

 

C

适用场景分析

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
淘宝TFS分布式文件系统、cstor分布式文件系统与阿里分布式文件系统都是分布式文件系统,其主要目的是提供高可用性、高性能、高可靠性的数据存储服务,为企业提供数据存储、备份、恢复、共享等功能。 以下是它们的异同点: 异同点: 1. 架构:三者都是分布式文件系统,采用类似的架构,都包含了元数据服务、数据服务等组件。 2. 功能:三者都提供了文件存储、备份、恢复、共享等功能。 3. 性能:三者都能提供高性能的数据存储服务。 4. 适用场景:三者都适用于大规模数据存储和分布式计算等场景。 不同点: 1. 开源:TFS和cstor是开源的分布式文件系统,而阿里分布式文件系统不是开源的。 2. 使用范围:TFS主要在淘宝内部使用,cstor主要在Openshift容器平台上使用,而阿里分布式文件系统则是面向公网用户的存储服务。 3. 扩展性:三者的扩展性也有所不同,TFS和cstor相对来说比较容易扩展,而阿里分布式文件系统则需要借助阿里资源才能进行扩展。 4. 数据安全性:TFS和cstor提供了数据冗余机制来保证数据的可靠性,而阿里分布式文件系统则提供了多重备份和加密保护等安全机制来保证数据的安全性。 综上所述,虽然三者都是分布式文件系统,但它们的使用范围、开源情况、扩展性和数据安全性等方面都有所不同,选择时需要根据实际需求进行选择。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值