大数据的三驾马车（一）：GFS

背景

在2003，2004，2006年谷歌发布的三篇论文奠定了大数据技术的核心理念，它们分别是：GFS、MapReduce、Bigtable。可以说，谷歌是大数据领域的普罗米修斯。经过10多年的蓬勃发展，大数据领域的技术在如今已经发展的比较成熟了，但随着生成式AI技术的火爆，大数据和AI的融合肯定也会继续加速发展。

GFS、MapReduce、Bigtable又被称为“三驾马车”，是大数据之路的敲门砖，值得每个大数据从业人员了解和学习。对比传统的数据处理技术大数据技术有三个特点：伸缩运行在1000+的分布式集群上而不是几十个，使用廉价的硬件设备而不是昂贵的，数据开发者容易使用而不需要处理分布式相关问题。

存储：GFS

核心功能

• 分布式文件系统存储

1. 当我们操作一个GFS文件时，实际上存在哪个服务器上？我们的客户端具体怎么读到这个文件的？

整个GFS中有两种服务器，一种是master，即主控节点；一种是chunkserver，即实际存储数据的节点。在GFS中，会把每个文件按照64MB一块的大小，切分成一个个chunk，每一个chunk有唯一标识handle，存放在chunkserver上。
为了确保不会因为某个chunkserver坏了数据丢失，每个chunk会存上三份副本。

GFS的客户端如何知道去哪个chunkserver找自己要的文件？可以查询master的元数据metadata来获得文件和chunk的命名空间、文件和拆分的chunk handle的映射关系、chunk handle和chun