云计算
文章平均质量分 91
keke_Xin
这个作者很懒,什么都没留下…
展开
-
GFS(Google File System)介绍 -- 大数据云计算时代
Google文件系统(Google File System,GFS)是一个大型的分布式文件系统。它为Google云计算提供海量存储,并且与Chubby、MapReduce以及Bigtable 等技术结合十分紧密,处于所有核心技术的底层。由于GFS并不是一个开源的系统,我们仅仅能从Google公布的技术文档来获得一点了解,而无法进行深入 的研究。当前主流分布式文件系统有RedHat的GFS[...原创 2014-02-15 21:12:36 · 1765 阅读 · 0 评论 -
谷歌技术"三宝"之MapReduce -- 大数据云计算时代
江湖传说永流传:谷歌技术有"三宝",GFS、MapReduce和大表(BigTable)!谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是03年SOSP的GFS,04年OSDI的MapReduce,和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议,在计算机学会推荐会议里属于A类。SOSP在单数年举办,而OSDI在双数年举办。那么这篇博客就来介绍一...原创 2014-02-15 23:09:29 · 570 阅读 · 0 评论 -
谷歌技术"三宝"之谷歌文件系统(GFS) -- 大数据云计算时代
虽然"The Google File System " 是 03年发表的老文章了,但现在仍被广泛讨论,其对后来的分布式文件系统设计具有指导意义。然而,作者在设计GFS时,是基于过去很多实验观察的,并提出了 很多假设作为前提,这等于给出了一个GFS的应用场景。所以我们自己在设计分布式系统时,一定要注意自己的应用场景是否和GFS相似,不能盲从GFS。GFS的主要假设如下:GFS的服务器都是...原创 2014-02-15 23:12:06 · 555 阅读 · 0 评论 -
谷歌技术"三宝"之BigTable -- 大数据云计算时代
2006年的OSDI有两篇google的论文,分别 是BigTable和Chubby。Chubby是一个分布式锁服务,基于Paxos算法;BigTable是一个用于管理结构化数据的分布式存储系统, 构建在GFS、Chubby、SSTable等google技术之上。相当多的google应用使用了BigTable,比如Google Earth和Google Analytics,因此它和GFS、Map...原创 2014-02-15 23:17:22 · 684 阅读 · 0 评论 -
Google后Hadoop时代的新“三驾马车”——Caffeine、Pregel、Dremel
摘要:Google在2003年到2004年公布了关于GFS、 MapReduce和BigTable三篇技术论文,这也成为后来云计算发展的重要基石,如今Google在后Hadoop时代的新“三驾马车”—— Caffeine、Pregel、Dremel再一次影响着全球大数据技术的发展潮流。Mike Olson是Hadoop运动背后的主要推动者,但这还远远不够,目前Google内部使用的大数据...原创 2014-02-15 23:22:16 · 271 阅读 · 0 评论 -
apache hadoop简介及核心机制
Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.数据在Hadoop中处理的流程可以简单的按照下图来理解:数据通过Haddop...原创 2014-02-20 10:20:35 · 165 阅读 · 0 评论 -
Twitter Storm流式计算(实时计算)框架简介一
转自:http://www.ibm.com/developerworks/cn/opensource/os-twitterstorm/Storm 是一个开源的、大数据处理系统,与其他系统不同,它旨在用于分布式实时处理且与语言无关。了解 Twitter Storm、它的架构,以及批处理和流式处理解决方案的发展形势。Hadoop(大数据分析领...原创 2015-01-13 23:02:02 · 638 阅读 · 0 评论 -
Strom介绍以及示例
转自:http://www.csdn.net/article/2012-12-24/2813117-storm-realtime-big-data-analysis简单和明了,Storm让大数据分析变得轻松加愉快。当今世界,公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据,网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据。考虑到数据的生...原创 2015-01-13 23:10:29 · 212 阅读 · 0 评论