简介
GFS 是Google提出的分布式文件系统,主要是针对面向数据密集型的应用程序,其中包括MapReduce,BigTable。Google开发的GFS主要是针对于google对于写文件多为一次写多次读,且经常是对文件追加记录特点开发的文件系统,因此它针对的业务场景有局限的,针对小文件和随机读写性能一般。
架构
single master:保存metadata,metadata主要包括
1文件到chunk的映射
filename->array of chunk handles
2各个chunk的位置信息 version-number,primay ,lease 租期
handle->list of chunkServers
versionNumber
primary
lease expriation
3 log,checkpoint ->disk
chunkserver:正如其名,主要保存各个具体的chunk
主要的交互过程、
读数据
-
Client 向master发送要读写的filename,offset;来获知对应的chunk信息,
-
master返回chunk所在的机器位置(所有副本&#x