集群与分布式技术

HDFS:
要解决并行计算中分布式存储数据的问题,单个数据文件通常非常大,采用了分块存储的技术。
FastDFS:
主要用于大中网站,为文件上传或下载提供在线服务。所以在负载均衡、动态扩容等方面都支持得比较好,FastDFS不会对文件进行扩容
集中式文件存储系统:
磁盘阵列、Net App Filer等,典型方式NFS
分布式文件系统:
如FastDFS 、MogileFS 、HDFS,基本都是基于Google FS

FastDFS是一个轻量级的开源分布式文件系统
Tracker Server:跟踪服务器,主要起调度工作,在访问上起负载均衡的作用。
记录storage server的状态,是连接client和storage server的枢纽
storage server:存储服务器,文件和meta data都保存到存储服务器上
group:组,也可以称为卷。同组内服务器上的文件是完全相同的
文件标识:包括两部分:组名和文件名(包含路径)
meta data:文件相关属性,键值对方式

各个tracker server之间相互独立
同组的storage server上的文件一致
不同组的storage server相互独立
storage server主动连接tracker server

上传文件流程:
1.client询问tracker上传到的storage
2.tracker返回一台可用的storage
3.client直接storage通信完成文件上传,storage返回文件ID

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

饼干饼干圆又圆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值