学习了hadoop的文件系统,觉得它有个缺陷,就是当数据丢失时,难以恢复。所以,展开如下思考。
以文件为单位,而不是以数据块为单位。
有一个数据库,储存着哪个文件存放在哪台计算机中。可以这样设计表结构:
表1=(全局路径,计算机名)
表2=(计算机名,存储量,剩余量)
表1的每一行对应一个文件,表2的每一行对应一台计算机。例如,添加一个文件的操作,添加到全局路径"/data/file1"中。通过查询表2,确定添加到哪台计算机,然后在其中按照全局路径创建文件。修改表1、表2。
这么设计的结果,是每台计算机中都使用全局路径,即全局路径的副本。如果中央数据库崩溃,也有办法恢复,因为副本在各个计算机中,各个计算机的存储量和剩余量也能重新计算。
如果一台电脑损坏,其他电脑上的文件依然可读。如果一个文件丢失,不至于影响全局。
本方案假设文件都不太大。有一种情况,用了一段时间后,每台电脑上都有10GB余量,但这时放不下一个20GB的文件,虽然总的余量大于20GB。