GFS/HDFS的设计理念——Simple is beauty!

已于 2023-07-16 22:47:19 修改
阅读量1.7k 收藏 3
点赞数
文章标签： GFS HDFS NFSv2 AFS
于 2018-05-01 10:14:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qingdujun/article/details/80154114
版权
本文对比分析了GFS、HDFS与前辈NFSv2、AFS的设计理念。NFSv2强调无状态和幂等性，通过GETATTR请求确保一致性；AFS通过回调机制解决客户端缓存同步问题。GFS/HDFS优化大块数据顺序读和并行追加，不支持文件修改，简化一致性实现。它们分别适用于不同的使用场景，GFS/HDFS需链接Client库，而NFSv2/AFS则可在用户态自由选择安装。
摘要由CSDN通过智能技术生成
阅读《RDBMS架构：写前日志(Write-Ahead Logging)保证ACID性质》文章可以大致明白实现本机的ACID性质的艰巨性，那么分布式系统亦改如何？本文从熟知的Linux ext4、Windows ntfs、Mac OS hfs....开始讲起，将你带入一个分布式文件系统的世界！

请先容我介绍另外两个前辈，

NFSv2——Sun公司1985发布了NFSv2，定义了开放的client/server之间的通信协议标准。

  • Stateless（无状态）——NFS Server不保持任何状态，每个操作都是无状态的。（Read: file handle, offset, count; Write: file handle, offset, count, data）。
  • Idempotent（幂等性：重复多次结
最低0.47元/天 解锁文章
qingdujun
关注
主流分布式存储技术对比分析：GFS、HDFS、GlusterFS、Ceph、Swift
weixin_70923796的博客
09-05 2971
2. Swift采用一致性哈希算法完成数据分布计算，通过首次计算对象针对逻辑对象（Zone）的映射实现数据副本的故障隔离分布，然后通过哈希一致性算法完成对象在Bucket当中的分布计算，采用Ring环结构组织Bucket节点组织，数据分布不如Ceph均匀。3. GFS是一种有中心节点的分布式架构，Master节点是单一的集中管理节点，既是高可用的瓶颈，也是可能出现性能问题的瓶颈。3. Ceph保持数据强一致性算法，数据的所有副本都写入并返回才算写事务的完成，写的效率会差一些，所以更适合写少读多的场景。
GFS
JustKian的博客
10-23 1583
1.GFS 的主要需求 在学习 GFS 的原理前，首先我们应当了解 GFS 在设计时所面对的需求场景。简单概括，GFS 的设计主要基于以下几个需求： 节点失效是常态。系统会构建在大量的普通机器上，这使得节点失效的可能性很高。因此，GFS 必须能有较高的容错性、能够持续地监控自身的状态，同时还要能够顺畅地从节点失效中快速恢复 存储内容以大文件为主。系统需要存储的内容在通常情况下由数量不多的大文件构...
《The Google File System》论文阅读笔记——GFS设计原理
weixin_30622181的博客
01-11 219
一、设计预期 设计预期往往针对系统的应用场景，是系统在不同选择间做balance的重要依据，对于理解GFS在系统设计时为何做出现有的决策至关重要。所以我们应重点关注： 失效是常态 主要针对大文件 读操作：大规模流式读取、小规模随机读取 写操作：大规模顺序追加写，写入后很少修改 高效明确定义的并行追加写 稳定高效地网络带宽 二、整体设计 1、...
GFS分布式文件系统
m0_51160032的博客
01-09 1052
一、文件系统简介 1.1文件系统的组成 接口：文件系统接口 功能模块（管理、存储的工具）：对对象管理里的软件集合 对象及属性：（使用此文件系统的消费者） 1.2文件系统的作用 从系统角度来看，文件系统时对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统 主要负责为用户建立文件、存入、读出、修改、转储文件，控制文件的存取 1.3文件系统的挂载使用 除跟文件系统以外的文件系统创建后要使用需要先挂载至挂载点后才可以被访问 挂载点即分区设备文件关联的某个目录文件 类比NFS
HDFS 的设计理念
weixin_40035337的博客
08-14 1409
HDFS 的设计理念是，可以运行在普通机器上，以流式数据方式存储文件，一次写入、多次查询，具体有以下几点。 1）可构建在廉价机器上HDFS 的设计理念之一就是让它能运行在普通的硬件之上，即便硬件出现故障，也可以通过容错策略来保证数据的高可用性。 2）高容错性由于 HDFS 需要建立在普通计算机上，所以结点故障是正常的事情。HDFS 将数据自动保存多个副本，副本丢失后，自动恢复，从而实现数据的高容错性。 3）适合批处理HDFS 适合一次写入、多次查询（读取）的情况。 在数据集生成后，需要长时间在此数据
HDFS-HDFS的设计理念
yc_hen的博客
01-24 949
HDFS简介 首先，什么是HDFS呢？ HDFS，即hadoop distributed file system（hadoop分布式文件系统），在非正式文档或旧文档及配置文件中，有时也简称DFS，这都是一样的。 HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX（Portable Operating...
简析GFS和HDFS的部分设计目标及解决方案
方寸想法，编码宇宙
03-02 2731
文章目录摘要1 引言2 GFS介绍2.1 GFS架构简介2.2 GFS中提出的用于大数据处理的分布式文件系统设计的目标2.3 组件失效的解决方案2.4 针对大文件提出的适应性解决方案2.5 为了保证数据追加操作的原子性采取的措施2.6 在满足可用性基础上的简化设计2.7 为提高性能，避免系统瓶颈的一些解决方案2.7.1 防止单一的Master结点成为系统瓶颈2.7.2 防止冗余创建效率低下，影响系统性能2.7.3 尽量避免网络瓶颈3 HDFS介绍3.1 HDFS简介3.2 HDFS与GFS的对比3.2.1架
GFS & HDFS
wd3cwg38的博客
04-14 572
本文对GFS&HDFS进行简要整理 GFS GFS参考网址 GFS架构 GFS Master // 管理所有的文件元数据（存在于Memory中) // 对Chunk创建及管理： · 文件和Chunk命令空间（log持久化） · 文件和Chunk对应关系（log持久化） · 每个Chunk副本存放位置（轮询） GFS chunkserver · 存储Chunk的实际位置信息 · Chun...
大数据的存储与处理——GFS和HDFS简介
weixin_45680007的博客
10-11 3320
一：GFS Google需要一个支持海量存储的文件系统 方法一：购置昂贵的分布式文件系统与硬件？ 方法二：是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？ 问题：为什么不使用当时现存的文件系统？ Google所面临的问题与众不同 不同的工作负载，不同的设计优先级（廉价、不可靠的硬件）需要设计与Google应用和负载相符的文件系统 优点：在物理上分离，逻辑上统一，用数量上的多，来弥补单个...
HDFS——HDFS整体设计架构和原理
常敲代码手不抖
08-29 1984
在我们学习HDFS之前，首先要了解分布式文件系统的概念，分布式文件系统有很多，HDFS只是其中的一种而已。那么分布式文件系统是什么呢，又有哪些优点？     随着现在数据量越来越多，在一个操作系统管辖的范围存不下了，那么就需要分配到更多的操作系统管理的磁盘中，但是这样又不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就产生了分布式文件管理系统。     分布式文件系统是一种允许
一篇理解GFS与HDFS的重要理念
qq_52142181的博客
02-18 2414
一篇理解GFS与HDFS的重要理念
【云计算】GFS思想优势以及架构
weixin_50927106的博客
06-21 989
是硬盘横向扩展以及数据冗余
重读GFS的设计
shenyanxxxy的专栏
08-06 813
GFS作为经典的作品，但是自己不读原文，永远不会理解全文的意思。      下面的是我对GFS的体悟： 1.系统架设故障是经常发生的。 2.所处理的文件级别很大，上G级别的文件是常事，而且文件大概为100M左右。 3.大多数的文件是采用append的方式追加到文件结尾的，而不是采用覆盖写的方式，采用这种方式是为了提高写的效率。 4.将应用和文件系统综合考虑，做成的这样的一个GFS 使我们
【云计算与大数据技术】文件存储格式行式、列式、GFS、HDFS的讲解（图文解释 超详细）
最新发布
showswoller的博客
12-13 2226
【云计算与大数据技术】文件存储格式行式、列式、GFS、HDFS的讲解（图文解释 超详细）
分布式文件系统GFS、HDFS的比较
热门推荐
左直拳的马桶_日用桶
02-05 1万+
一、概论 HDFS（Hadoop分布式文件系统）是根据GFS（Google文件系统）的原理开发的，是GFS的简化版。 前面提到，对于如何处理大数据，计算机科学界有两大方向：一是集中式计算，二是分布式计算。 过去，分布式计算理论比较复杂，技术实现比较困难，因此集中式计算一直是主流解决方案。但2003年到2004年间，Google发表了MapReduce、GFS和BigTable三篇技术论文，提出了一...
hdfs设计思想
猿累人生
05-16 1482
hadoop分为四大模块,分别为：common、hdfs、yarn、mapreduce 什么是HDFS? hdfs是一个分布式文件系统。 hdfs设计思想? 设计思想采用的是“分而治之”,分就是当一个文件过大时,一台计算机存储不了,就采用切分存储。 1、设计思想1：分块存储 每一个块叫做block，如果有1个主节点和4个从节点的集群。 问题1、设计分块为什么需要考虑到负载均衡？ 当...
hdfs详解
Murphyt的专栏
11-29 1292
HDFS是Hadoop Distribute File System 的简称，也就是Hadoop的一个分布式文件系统。 一、HDFS的主要设计理念 1、存储超大文件     这里的“超大文件”是指几百MB、GB甚至TB级别的文件。 2、最高效的访问模式是 一次写入、多次读取(流式数据访问)     HDFS存储的数据集作为hadoop的分析对象。在数据集生成后，长时间
云计算存储核心：GFS与HDFS分布式文件系统解析
GFS的核心设计理念是容错性和可扩展性，它将大文件分割成块，并在多个节点上复制，以确保即使在硬件故障的情况下也能提供连续的服务。此外，GFS还支持快速的数据访问和高效的并发操作。 Hadoop分布式文件系统(HDFS)...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值