GFS google file system谷歌文件系统

GFS

GFS 也就是 google File System，Google公司为了存储海量搜索数据而设计的专用文件系统。
GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，并提供容错功能。它可以给大量的用户提供总体性能较高的服务。

master节点

master节点只存放元数据：

• 文件和chunk命名空间
• 文件和chunk的对应关系
• 每个chunk副本的存放地点

chunk server节点

chunk server节点是数据存放节点，也是数据操作节点，客户端只与master节点交换元数据，数据操作都是在chunck server节点上进行的。

持久保存数据与非持久保存数据

• master持久保存日志数据，日志的序号表示时间
• master非持久保存chunk server的位置信息，只是采用定期轮询的机制，只要chunk服务器才能最终确定某个chunk是否在硬盘上

GFS master复制机制

• 一个逻辑的master采用两台物理主机
• master状态复制，复制操作日志和check point文件
• “影子”master机制

GFS读取