分布式存储
文章平均质量分 90
keke_Xin
这个作者很懒,什么都没留下…
展开
-
GFS(Google File System)介绍 -- 大数据云计算时代
Google文件系统(Google File System,GFS)是一个大型的分布式文件系统。它为Google云计算提供海量存储,并且与Chubby、MapReduce以及Bigtable 等技术结合十分紧密,处于所有核心技术的底层。由于GFS并不是一个开源的系统,我们仅仅能从Google公布的技术文档来获得一点了解,而无法进行深入 的研究。当前主流分布式文件系统有RedHat的GFS[...原创 2014-02-15 21:12:36 · 1764 阅读 · 0 评论 -
谷歌技术"三宝"之MapReduce -- 大数据云计算时代
江湖传说永流传:谷歌技术有"三宝",GFS、MapReduce和大表(BigTable)!谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是03年SOSP的GFS,04年OSDI的MapReduce,和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议,在计算机学会推荐会议里属于A类。SOSP在单数年举办,而OSDI在双数年举办。那么这篇博客就来介绍一...原创 2014-02-15 23:09:29 · 569 阅读 · 0 评论 -
谷歌技术"三宝"之谷歌文件系统(GFS) -- 大数据云计算时代
虽然"The Google File System " 是 03年发表的老文章了,但现在仍被广泛讨论,其对后来的分布式文件系统设计具有指导意义。然而,作者在设计GFS时,是基于过去很多实验观察的,并提出了 很多假设作为前提,这等于给出了一个GFS的应用场景。所以我们自己在设计分布式系统时,一定要注意自己的应用场景是否和GFS相似,不能盲从GFS。GFS的主要假设如下:GFS的服务器都是...原创 2014-02-15 23:12:06 · 554 阅读 · 0 评论 -
谷歌技术"三宝"之BigTable -- 大数据云计算时代
2006年的OSDI有两篇google的论文,分别 是BigTable和Chubby。Chubby是一个分布式锁服务,基于Paxos算法;BigTable是一个用于管理结构化数据的分布式存储系统, 构建在GFS、Chubby、SSTable等google技术之上。相当多的google应用使用了BigTable,比如Google Earth和Google Analytics,因此它和GFS、Map...原创 2014-02-15 23:17:22 · 684 阅读 · 0 评论 -
apache hadoop简介及核心机制
Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.数据在Hadoop中处理的流程可以简单的按照下图来理解:数据通过Haddop...原创 2014-02-20 10:20:35 · 165 阅读 · 0 评论