本文深入探讨了分布式文件系统，包括Google的GFS、淘宝的TFS和Facebook的Haystack。GFS支持大文件追加写入，通过租约机制管理Chunk；TFS针对图片存储优化，元数据分级存储，解决读多写少场景；Haystack设计用于高读取QPS，采用目录、存储和缓存三层架构。同时，文章还提到了CDN在存储领域的应用及其挑战。
系统特点：对大文件友好，支持追加写。
租约机制：Chunk之间通过租约机制选主，减少了Master的压力。
追加流程
数据流是复制连，控制流与数据流分开。数据流是复制连的优点是，减少延时、节省带宽，尤其是在跨交换机的情境下。
数据流与控制流分开的优点是，GFS专门设计给大文件（舍弃小文件），猜测可能是在异常情况下（例如，切主）减少带宽（数据流记录在日志中，控制流决定是否写入，如果切主可以重发控制流，不用发数据）。
多端并发，通过重试解决，Chunk上的数据保证数据的偏移量和长度一致，但不保证二进制级别一致。
负载均衡：特别说明一下，GFS中限制了最近创建次数，防止新机器加入导致单点过热问题。
快照：GFS
2314
993
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
