关于The Google File Systerm的阅读

本文介绍了Google文件系统(GFS)的架构,包括Master节点和Chunk服务器的角色。GFS将文件拆分为64MB的Chunk,并通过Master节点管理全局唯一标识。在数据操作中,重点讨论了大文件和超大文件的保存策略,以及如何通过减少Master节点的数据和流量来优化系统。
摘要由CSDN通过智能技术生成

1 首先是对GFS的构架进行一个介绍。一个GFS集群包含一个单独的Master节点,(可以把Master节点当成逻辑概念,一个Master节点包括两台物理主机,即两台Master服务器),多台Chunk服务器。

GFS存储的文件被分割成固定大小的Chunk,并且Master服务器会给每个Chunk分配一个不变的,全球唯一的64为的Chunk标识。

2 Google常见的数据操作:

       在进行数据操作之前,需要了解一个概念:GFS的简单读取流程是,客户端把本身文件和程序指定的字节偏移,根据固定的Chunk大小转换成Chunk索引,然后发送给Master节点。Master会将相应的Chunk标识的相关信息发给客户端。客户端用文件名和Chunk索引作为key缓存相关信息。

1 保存一个大文件:把block(一般文件系统的尺寸)换成chunk,每个chunk为64MB。这样做的优点是:减少元数据的数量,减少网络负载,减少客户端与Master节点通讯的需求。但是缺点是小文件会浪费空间。

2 保存一个超大文件:把chunk放在不同的chunk服务器上,有一个Master服务器存放所有chunk所在的ChunkServer编号。每个chunkserver保存每个chunk在其中的偏移量。缺点是ChunkServer数据的任何改变都需要通知Maser,会造成流量的浪费。

3 减少Master的数据和流量:Master只保存哪一块存在哪个服务器上这一信息,而在每个服务器上保存它的偏移量。Master不记录每块数据的偏移量。这样做的好处是减少了Master和Chunkserver之间的通信。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值