GFS读书笔记

 

1.分布式文件系统的设计要点：容错能力强；支持的数据量大（不用考虑多数目的小文件）；文件写入一般采取追加的方式，不支持随机写入 ；跨平台 

2.详细设计要点：构架于廉价的PC机之上，可以在出现错误时常规地进行错误恢复；主要支持适当数量的大文件，应当支持小文件，但是不必对此作优化；文件读取一般一次读取较大的比特数，随机读写的问题可以次要考虑；支持多个客户端对同一个文件的读写的同步；一次性读写的带宽比读写的延时更重要 

3.每一个用户的读写操作是原子的；

4.主机掌握文件系统的所有元数据，包括文件的名称，存取控制信息，文件在数据结点上的映射和数据结点的位置。也包括数据节点的回收等内容

5.块大小：块大小不能太小，这样可以减少客户机和master的交互次数，而且可以通过缓存提高效率，块大小不能太大，以免造成多个用户同时读写一个文件时，在读写同一个块，尽量使一个文件含有多个块。

6.元数据：master存储的元数据主要包含以下三个内容：文件和块的名字空间；文件到块的映射；每个块的地址；这三项内容都存放在master的内存中，前两项同时存储在日志文件中，并在slave中有备份，块地址在master启动和块加入集群时发送给master

7.名字空间以B树的形式加载在内存当中

8.GFS设计原则之一，尽量减少master和client之间的交互

转载于:https://www.cnblogs.com/icestream/archive/2012/01/04/2311591.html