图片存储系统TFS

1 TFS和GFS比较

1.1 GFS的应用场景

第一，百万级别的文件，并且是大文件，文件都是100MB以上，1G级别的文件很常见。

第二，集群是建立在商业计算机之上，并不可靠，监控各个节点的状态，当一个节点坏掉了，可以里面恢复。因此需要一个master来管理着多个slave。

1.2 TFS的应用场景

第一，百亿级别的小文件，特别是图片文件，大小为18KB左右。

第二，集群同样建立在商业计算机之上。

 

2 数据的完整性

第一，备份；

第二，将数据划分为chunk和block，计算每个block的checksum；

第三，checksum放在log中，log和数据分开存放；

第四，传输数据前检查checksum，发现错误，删除错误数据，拷贝备份数据。

 

3 TFS的扁平设计

TFS丢掉目录结构，直接用文件名来解析出block id和file id，直接得到文件的物理地址，可以大大提高访问的速度。

 

4 TFS践行了对象存储的思想

5 微信朋友圈的存储系统也是这个思想，纯粹是key-value的形式

因为微信朋友圈里面也有海量的图片和海量的文字，这些都是采取key-value的形式来存放的。

 

转载于:https://www.cnblogs.com/hustdc/p/8047565.html