大数据
文章平均质量分 79
tzdjzs
这个作者很懒,什么都没留下…
展开
-
hbase介绍
一、简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007.10 First useable Hbase转载 2014-03-04 23:55:14 · 739 阅读 · 0 评论 -
Thinking in BigDate(七)大数据技术核心之NoSql(一)
曾在Thinking in BigDate(三)大数据运作机理与趋势,一文中谈到结构化数据面临的挑战,随着持续增长的海量数据,NoSql应运而生。本文,我们将续续揭开NoSql的神秘面纱,打开非结构化数据的大门(不再过多的探讨关系型数据库的特点)。原文章总结于《NoSql Distilled》作者:Pramod J.Sadalage ,Martin Fowler著,爱飞翔 译《N转载 2014-03-08 13:23:08 · 1162 阅读 · 0 评论 -
NoSQL学习笔记(二)之CAP理论
1.CAP概述CAP理论是由EricBrewer教授提出的,在设计和部署分布式应用的时候,存在三个核心的系统需求,这个三个需求之间存在一定的特殊关系。三个需求如下:C: Consistency 一致性A: Availability 可用性P:Partition Tolerance分区容错性CAP理论的核心是:一个分布式系统不可能同时很好的满足一致性,可用性和分区容错性这三个需求转载 2014-03-11 22:44:12 · 1295 阅读 · 0 评论 -
Thinking in BigDate(八)大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
纯干货:Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解。 通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS、MapReduce、Hbase、Hive是如何运行,以及基于Hadoop数据仓库的构建和分布式数据库内部具体实现。如有不足,后续及时修改。HDFS的体系架构 整个Hadoop的体系结构主要是通过HDFS来实现转载 2014-03-08 13:24:54 · 1397 阅读 · 1 评论 -
LevelDb日知录(Leveldb 实现原理)
转自:http://www.cnblogs.com/haippy/archive/2011/12/04/2276064.html郑重声明:本篇博客是自己学习 Leveldb 实现原理时参考了郎格科技系列博客整理的,原文地址:http://www.samecity.com/blog/Index.asp?SortID=12,只是为了加深印象,本文的配图是自己重新绘制的,大部分内容与原文相似,大家可转载 2014-03-04 23:24:40 · 1486 阅读 · 0 评论 -
YARN(YetAnother Resource Negotiator)
YARN:针对MapReduce在扩展性和多框架支持方面的不足(扩展性受限、单点故障、难以支持MR之外的计算),提出了全新的资源管理框架YARN,它将JobTracker中的资源管理和作业控制功能分开,分别由两个不同进程ResourceManager和ApplicationMaster实现,其中ResourceManager负责所有应用程序的资源分配,而ApplicationMaster仅仅负责管转载 2014-04-05 21:01:27 · 1552 阅读 · 0 评论