分布式系统
追求执着
I have a dream! Happy everyday!
展开
-
谷歌三大核心技术(一)Google File System - 摘要
译者:alex摘要我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性能的服务。虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处,但是,我们的设计还是以我们对自己的应用的负载情况和技术环境的分析为基础 的,不管现在还是将来转载 2013-10-10 14:26:09 · 1210 阅读 · 0 评论 -
谷歌三大核心技术(一)Google File System - 简介
为了满足Google迅速增长的数据处理需求,我们设计并实现了Google文件系统(Google File System – GFS)。GFS与传统的分布式文件系统有着很多相同的设计目标,比如,性能、可伸缩性、可靠性以及可用性。但是,我们的设计还基于我们对我们自己的应用 的负载情况和技术环境的观察的影响,不管现在还是将来,GFS和早期文件系统的假设都有明显的不同。所以我们重新审视了传统文件系统在设计转载 2013-10-10 14:27:47 · 2060 阅读 · 0 评论 -
谷歌三大核心技术(一)Google File System - 系统设计
我们在设计这个系统时,一个重要的原则是最小化所有操作和Master节点的交互。带着这样的设计理念,我们现在描述一下客户机、Master服务器和Chunk服务器如何进行交互,以实现数据修改操作、原子的记录追加操作以及快照功能。3.1 租约(lease)和变更顺序(alex注:lease是数据库中的一个术语)变更是一个会改变Chunk内容或者元数据的操作,比如写入操作或者记录追加操作。转载 2013-10-10 14:37:20 · 3187 阅读 · 0 评论 -
谷歌三大核心技术(一)Google File System - 设计
2.1设计预期在设计满足我们需求的文件系统时候,我们的设计目标既有机会、又有挑战。之前我们已经提到了一些需要关注的关键点,这里我们将设计的预期目标的细节展开讨论。系统由许多廉价的普通组件组成,组件失效是一种常态。系统必须持续监控自身的状态,它必须将组件失效作为一种常态,能够迅速地侦测、冗余并恢复失效的组件。系统存储一定数量的大文件。我们预期会有几百万文件,文件的大小通常转载 2013-10-10 14:29:47 · 1507 阅读 · 0 评论