GFS & HDFS

GFS与HDFS：分布式文件系统解析
最新推荐文章于 2022-12-13 10:00:42 发布
最新推荐文章于 2022-12-13 10:00:42 发布
阅读量657 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： gfs hdfs 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wd3cwg38/article/details/105507639
本文深入探讨了Google的GFS和Hadoop的HDFS分布式文件系统。GFS采用64MB块大小，其Master节点管理元数据并使用轮询策略分配Chunk副本。写入过程中，数据直接推送到Chunk服务器。而HDFS的块大小为128MB，NameNode类似GFS Master，DataNode对应ChunkServer。HDFS在写操作上更严格，同一时间仅允许一个Client写入。此外，两者都遵循最终一致性原则，确保数据的短暂不一致最终会达到一致状态。

本文对GFS&HDFS进行简要整理

GFS

GFS参考网址

  • GFS架构
    GFS Architecture
  • GFS Master
    // 管理所有的文件元数据（存在于Memory中)
    // 对Chunk创建及管理：
    · 文件和Chunk命令空间（log持久化）
    · 文件和Chunk对应关系（log持久化）
    · 每个Chunk副本存放位置（轮询）
  • GFS chunkserver
    · 存储Chunk的实际位置信息
    · Chunk以Linux文件形式存储在本地磁盘
  • 写入流程
    GFS Write Op
    · Client的数据沿着精心选择的Chunk服务器链推送
    · 由Primary Replica对写操作状态进行维护

HDFS

HDFS参考网址一 - Apache
HDFS参考网址二

  • HDFS架构
    HDFS Architecture
    · NameNode → GFS Master
    · DataNode → GFS ChunkServer

HDFS和GFS区别

  • 块大小
    · GFS: 64MB
    · HDFS: 128MB
  • 块位置
    · GFS: 轮询，不持久化
    · HDFS: 持久化
  • 写操作
    · GFS: 对同一文件，在同一时刻允许多个Client write/append
    · HDFS: 对同一文件，在同一时刻只允许一个Client write/append

最终一致性

一致性参考网址 - 知乎
· client通过异步从库读取时，若此异步从库还未复制主库内容，则client会看到过时信息；但该不一致是暂态，因为异步从库最终会与主库保持一致。（这成为最终一致性）

k2z
关注
GFS, HDFS, Blob File System架构对比【转帖】
will_x_y的专栏
12-28 1378
Blob File System, GFS, HDFS, TFS
GFS与HDFS
Hhytyq的博客
06-16 1938
GFS:{负责控制流：Master; 负责数据流：chunkserver} 一 个GFS集群由一个master和大量的chunkserver构成，并被许多客户（Client）访问 Master维护文件系统所以的元 数据（metadata），包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动，如块租约（lease）管理，孤儿 块的垃圾收集，chunkserver间的...
一篇理解GFS与HDFS的重要理念
qq_52142181的博客
02-18 2572
一篇理解GFS与HDFS的重要理念
后端分布式系列：分布式存储－HDFS 与 GFS 的设计差异
iteye_2022的博客
10-13 543
「后端分布式系列」前面关于 HDFS 的一些文章介绍了它的整体架构和一些关键部件的设计实现要点。 我们知道 HDFS 最早是根据 GFS（Google File System）的论文概念模型来设计实现的。 然后呢，我就去把 GFS 的原始论文找出来仔细看了遍，GFS 的整体架构图如下： HDFS 参照了它所以大部分架构设计概念是类似的，比如 HDFS NameNode 相当于 GFS M...
分布式文件系统GFS、HDFS的比较
左直拳的马桶_日用桶
02-05 2万+
一、概论 HDFS（Hadoop分布式文件系统）是根据GFS（Google文件系统）的原理开发的，是GFS的简化版。 前面提到，对于如何处理大数据，计算机科学界有两大方向：一是集中式计算，二是分布式计算。 过去，分布式计算理论比较复杂，技术实现比较困难，因此集中式计算一直是主流解决方案。但2003年到2004年间，Google发表了MapReduce、GFS和BigTable三篇技术论文，提出了一...
简析GFS和HDFS的部分设计目标及解决方案
方寸想法，编码宇宙
03-02 2921
文章目录摘要1 引言2 GFS介绍2.1 GFS架构简介2.2 GFS中提出的用于大数据处理的分布式文件系统设计的目标2.3 组件失效的解决方案2.4 针对大文件提出的适应性解决方案2.5 为了保证数据追加操作的原子性采取的措施2.6 在满足可用性基础上的简化设计2.7 为提高性能，避免系统瓶颈的一些解决方案2.7.1 防止单一的Master结点成为系统瓶颈2.7.2 防止冗余创建效率低下，影响系统性能2.7.3 尽量避免网络瓶颈3 HDFS介绍3.1 HDFS简介3.2 HDFS与GFS的对比3.2.1架
GFS和HDFS
03-19
### GFS 和 HDFS 的对比分析 #### 1. 起源与发展背景 HDFS 是基于 Google 发表的 GFS 论文设计的一种开源分布式文件系统[^1]。两者都旨在解决大规模数据存储和处理的需求，但在具体实现细节上有一定差异。 #### 2....
主流分布式存储技术对比分析-GFS-HDFS-GlusterFS-Ceph-Swift.docx
最新发布
06-11
常见的分布式存储技术包括Google File System（GFS）、Hadoop Distributed File System（HDFS）、GlusterFS、Ceph和OpenStack Swift。它们各有特点，适用于不同的应用场景。对这些技术进行对比分析，可以更好地理解...
大数据的存储与处理——GFS和HDFS简介
weixin_45680007的博客
10-11 3500
一：GFS Google需要一个支持海量存储的文件系统 方法一：购置昂贵的分布式文件系统与硬件？ 方法二：是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？ 问题：为什么不使用当时现存的文件系统？ Google所面临的问题与众不同 不同的工作负载，不同的设计优先级（廉价、不可靠的硬件）需要设计与Google应用和负载相符的文件系统 优点：在物理上分离，逻辑上统一，用数量上的多，来弥补单个...
gfs和hdfs文件系统的区别
热门推荐
xiaofei0859的专栏
12-05 2万+
转载:http://blog.csdn.net/mindfloating/article/details/49103611 我们知道 HDFS 最早是根据 GFS（Google File System）的论文概念模型来设计实现的。  然后呢，我就去把 GFS 的原始论文找出来仔细看了遍，GFS 的整体架构图如下：  HDFS 参照了它所以大部分架构设计概念是类似的，比如 HDFS
分布式文件系统(GFS和HDFS)概述
Tyler_Zx的博客
11-24 1万+
前言 背景意义 分布式存储相关概念 分布式存储系统的分类 CAP理论 复制副本 一致性 GFS架构 租约（lease）和变更顺序 容错机制 前言 因为我有一门分布式的课，老师要求我们选择一个课题做汇报，有GFS、Hadoop、Bigtable、MapReduce、C...
突然发现的HDFS与GFS在实现上的一些不同
RainSoul
05-13 591
GFS：Google File System HDFS：Hadoop Distribute File System   首先，有一点要确认的是，作为GFS的一个最重要的实现，HDFS设计目标和GFS是高度一致的。在架构、块大小、元数据等的实现上，HDFS与GFS大致一致。但是，在某些地方，HDFS与GFS又有些不同。如：     1、 快照（Snapshot）： GFS...
分布式文件系统设计，该从哪些方面考虑？
架构师技术联盟
08-28 2985
一、概述 分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是 HDFS/GFS。如今该领域已经趋向于成熟，但了解它的设计要点和思想，对我们将来面临类似场...
只知道HDFS和GFS？你其实并不懂分布式文件系统
weixin_45727359的博客
04-04 380
作者介绍张轲，目前任职于杭州大树网络技术有限公司，担任首席架构师，负责系统整体业务架构以及基础架构。一、概述分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是 HDFS/...
HDFS 与 GFS 的设计差异
ren123652的博客
08-23 576
[b]HDFS 与 GFS 的设计差异[/b] 我们知道 HDFS 最早是根据 GFS（Google File System）的论文概念模型来设计实现的 [b]写入模型[/b] HDFS 在考虑写入模型时做了一个简化，就是同一时刻只允许一个写入者或追加者。 在这个模型下同一个文件同一个时刻只允许一个客户端写入或追加。 而 ...
分布式文件系统比较出名的有HDFS  和 GFS
weixin_30885111的博客
07-08 157
分布式文件系统比较出名的有HDFS 和 GFS，其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。1、三个部分: 客户端、nameserver（可理解为主控和文件索引,类似Linux的inode）、datanode（存放实际数据）在这里，client的形式我所了解的有两种，通过Hadoop提供的api所编写...
主流分布式存储技术对比分析：GFS、HDFS、GlusterFS、Ceph、Swift
weixin_70923796的博客
09-05 3417
2. Swift采用一致性哈希算法完成数据分布计算，通过首次计算对象针对逻辑对象（Zone）的映射实现数据副本的故障隔离分布，然后通过哈希一致性算法完成对象在Bucket当中的分布计算，采用Ring环结构组织Bucket节点组织，数据分布不如Ceph均匀。3. GFS是一种有中心节点的分布式架构，Master节点是单一的集中管理节点，既是高可用的瓶颈，也是可能出现性能问题的瓶颈。3. Ceph保持数据强一致性算法，数据的所有副本都写入并返回才算写事务的完成，写的效率会差一些，所以更适合写少读多的场景。
【云计算与大数据技术】文件存储格式行式、列式、GFS、HDFS的讲解（图文解释 超详细）
showswoller的博客
12-13 2365
【云计算与大数据技术】文件存储格式行式、列式、GFS、HDFS的讲解（图文解释 超详细）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值