分布式文件系统

学习了hadoop的文件系统,觉得它有个缺陷,就是当数据丢失时,难以恢复。所以,展开如下思考。

以文件为单位,而不是以数据块为单位。

有一个数据库,储存着哪个文件存放在哪台计算机中。可以这样设计表结构:
表1=(全局路径,计算机名)
表2=(计算机名,存储量,剩余量)

表1的每一行对应一个文件,表2的每一行对应一台计算机。例如,添加一个文件的操作,添加到全局路径"/data/file1"中。通过查询表2,确定添加到哪台计算机,然后在其中按照全局路径创建文件。修改表1、表2。

这么设计的结果,是每台计算机中都使用全局路径,即全局路径的副本。如果中央数据库崩溃,也有办法恢复,因为副本在各个计算机中,各个计算机的存储量和剩余量也能重新计算。

如果一台电脑损坏,其他电脑上的文件依然可读。如果一个文件丢失,不至于影响全局。

本方案假设文件都不太大。有一种情况,用了一段时间后,每台电脑上都有10GB余量,但这时放不下一个20GB的文件,虽然总的余量大于20GB。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值