海量数据
tdeclipse
这个作者很懒,什么都没留下…
展开
-
海量数据--在线大数据处理的理论与实践--前言
写在前面海量数据这个专题,经过半年多断断续续的写作,也算是做了一些开始已经写了一部分资料出来, 现在会再次整理成开源书籍一本,希望能够帮助大家更好的理解这些技术。在这次整理和重构中,会额外的增加更多的内容和图,以帮助大家更好的理解这些概念与内容。从行文的思路上,我会遵循以下简单的模式首先会有一个概况,让大家有个基本的印象,然后会给出引文,在一些特定的转载 2016-05-20 17:44:48 · 827 阅读 · 0 评论 -
从需求出发来看关系模型与非关系模型--关系模型与非关系模型概述
自从NoSQL概念横空出世,关系数据库似乎就成了众矢之的,似乎一夜之间,关系数据库和SQL就成了低效,高成本,速度慢的数据处理模式的代名词。 在很多地方都能看到类似:"我的项目初创,应该选择什么NoSQL产品才能快速的开发?" 这样的问题。 正因有人提出这样的问题,才坚定了我把这篇文章放在了第一章的决心。主要的目标是希望借助这样一个形式,让大家能够比较清晰的认识到类似NoSQL转载 2016-05-20 18:02:36 · 758 阅读 · 0 评论 -
从需求出发来看关系模型与非关系模型--时代的变革
上回我们说到随着互联网的爆发式发展,数据库概念领域又一次发生了摇摆,伴随着互联网的特殊需求,一批有着新鲜血液的NoSQL数据库涌现了出来,层次模型又从封印中苏醒,站在了大家面前。这里就自然而然会有一系列的疑问产生了出来,为什么层次模型变种的NoSQL会出现并得到了一些人的认同?他满足了什么需求? 关系模型在什么地方不能满足大家的需求了?那转载 2016-05-20 18:23:16 · 374 阅读 · 0 评论 -
一个小型数据库的核心组件
如果想要了解存储,我比较推荐的方式还是从了解数据库开始。从目前来看,数据库发展了这么多年,各种理论相对的比较完善,面对各种应用场景,其核心处理模式也已经非常的成熟了,在新的海量数据的时代,人们只是对扩展性提出了更高的要求,而对数据存储的其他方面却仍然希望能保持之前的水平。而从目前实际的发展来看,基本上目前发展的核心思路并没有绕开人们在数据库理论领域内所积累的那些关键的特性。因此,如果你转载 2017-03-07 21:34:16 · 391 阅读 · 0 评论 -
从需求出发来看关系模型与非关系模型--时代的变革1
上次我们谈到,因为互联网应用的实际需求与传统数据库之间出现了不匹配的情况。于是,破坏与重构就成为了新时代的主音。对互联网应用而言,最急需的需求,就是处理大量用户输入的海量数据,进行一些逻辑处理后再将结果返回给用户。因此,对于在线数据处理来说,可水平扩展的容量指标,可无限增长的写入tps和读取qps,是互联网企业的最大,最急需的需求。相比较而言,为了追求性能和容量转载 2017-03-07 21:31:21 · 312 阅读 · 0 评论 -
从外部查询看数据库的内部实现机制
在上一章中,我们简单的描述了组成一个小型数据库的核心组成部分,那么在本章,我会用一些常见的操作,将这些组件串联起来,让大家对这些东西如何被有机的组织起来完成了大家的功能的。但需要注意的是,这里面提到的顺序,可能在不同的数据库内会有些许的变化,因为这些组件的执行顺序,没有明确的规范和约定要求某个数据库一定要这样,更多的只是因为数据库发展了这么多年而形成的约定俗成的执行模式场景描述,我们有转载 2017-03-07 21:36:27 · 241 阅读 · 0 评论 -
李雷和韩梅梅的一次转账事务--事务系统概述
上次我们在最后一部分,给出了一个事务操作的模型和内部简单实现的方式,以期让大家能针对事务有一个比较简单的印象。今天,我就尝试针对事务的基本特性做一个简单的概述。 当然,因为仍然是概述,所以不会特别深入的去介绍和分析内部的机制,只希望能够将一些难以理解的概念,用举例子的方式协助大家能够更容易的理解事务的基本概念。谈到事务,我们要做的第一件事,就是理解,什么叫做事务,以及为什么要有事务转载 2017-03-07 21:37:42 · 372 阅读 · 0 评论 -
数据的存储介质-磁盘的硬件特性
在本章,我们稍微涉及一些硬件和操作系统层面的事情。 计算机是由硬件和软件组成的, 而所有软件的唯一目标就是尽可能最大化的利用下层硬件能够提供的特性,完成上层的功能。 所以才会有人说,硬件是骨头,软件是血肉,骨头决定生物的形态,软件决定生物的神态。不过,依然请放心,我们不会讨论复杂的东西, 作为一个软件工程师,也没有人会要求我们去写一个磁盘存储器的硬件驱动代码~ 在这里,我们只讨论那转载 2017-03-07 21:40:34 · 521 阅读 · 0 评论