云里雾里的数据库

随着风起“云”涌，近几年已经浮现了一些非关系型，英文说法即 “non-relational, non-schematic” 的数据库，不少人被搞得云里雾里的。

Oracle 和 IBM，另外包括存储厂商如 EMC、Teradata、HDS等（广义来讲，还包括虚拟化厂商 VMWare、Citrix等），因为上述厂商技术扎根都在传统企业IT和数据存储市场，即基于多年来非常成熟、基于SQL关系型模型的 OLTP 交易型和 OLAP 分析性应用。所以这些传统IT厂商推广云计算的时候，更强调将自家产品用于企业内部云／私有云的场景，而非专用于亚马逊、Google、Joyant等收租的公共云IDC运营模式。

几年前 Google 和 Amazon 所雇用的大量计算机专业博士们，基于多年积累、未商品化的学术研究成果，带来了一些很不一样的数据处理手段，即一般统称的“非关系型”（或技术上不够精确的所谓“非SQL”）数据库（其中最火、最出名的是Apache Hadoop）。这些技术的的基本设计思路，在本质上，和上述传统技术有着很大的区别，他们的设计理念源于支持互联网行业并行计算，每天面对海量用户所产生的增量数据，所带来的现实数据压力，这些是传统企业IT技术架构无法在有限的经费内满足的（即便软件成本为零）。这些技术是基于以下条件所设计：

• 没有任何单一存储能大到 1) 容纳得下整份数据，而且要 2) 能线性适应每天海量的数据增长速度 -- 现在这些用户量大的Web2.0公司的数据，如 facebook，是以 P (petabyte) 级、而非 T 级，也就是千倍于T，很快要到 exabyte 级（顺道一提，这是Oracle的一体机Exadata和Exalogic的命名意涵由来），也就是T级的百万倍。所以这类新数据库，在先天上都是分布式设计，自动分区，并且存储于最廉价的commodity商品型服务器的本地盘，而非光纤外联高价的专业存储设备（“commodity”一词的意涵，主要突出品牌的不重要性，如同商品期货市场中交易的石油、黄豆、大米等）。
• 由于集群了大量的廉价commodity服务器硬件，稳定性和可靠性较低，硬件故障率 (MTBF) 变得比较频繁，因此这类新型数据库的设计，变成将硬件故障视为常态，而非异常。每笔数据在写的时候，别台硬件的磁盘上同时自动生成备份。
• 交易型的应用，采用一种新的终极一致性 (eventual consistent) 的设计，而非传统 OLTP、两阶段提交这种立刻一致。亚马逊内部使用的 Dynamo （Apache Cassandra是外人基于他们发表的学术论文而开源实现的一个数据库），是这方面的领头羊。这类数据库比较适合对数据做反复更新，而不像 Hadoop，更适合一次写，多次读。

分析型的数据库和存储，基于上述设计前提，出现了一批有别于传统 OLAP+集中存储的架构，在公共云领域独领风骚的是 Google 的 MapReduce 架构（和实现它的开源 Apache Hadoop；因为 Google 不将自家技术开源分享，尽管带来了很多架构突破和创举，但同时也被不少人诟病；Google 自家的 BigTable 和开源项目 HyperTable 也是一样的关系）。这类数据库适合一次写（更新的效能很差，但只读操作很快，有点类似 LDAP 服务器的特性），和丰富的数据挖掘方式和工具、编程／脚本语言（如 Pig）。

云空间中另外还有一些类似 Oracle Coherence 内存数据网格, Berkeley DB等采用“键-值对”哈希的数据存储技术，和相关开源项目。

国外有篇文章，对各类云里的数据库，做了很扼要的分类和说明，挺不错的。

如此一来，那是否意味着，这些非关系型数据库，很快即将横扫市场整个IT市场，颠覆传统关系型数据库，如许多所谓no SQL运动支持者们鼓吹的那样？个人认为，在企业IT市场，基于传统企业级应用的技术，在未来多年后，仍会保持主流的地位，大多数企业的业务在数据存储、冗余、交易一致性等方面的要求和所面对的上下文，实际上和有着海量用户的互联网公司或运营商相比，仍是有相当大的区别的。更何况现有企业的投资、人才、管理过程、政策等，都还是围绕着传统企业应用和关系型数据库相关技术的。九十年代来势汹汹的面向对象数据库，并没有如许多专家们预测般，取代了关系型数据库（反倒是自己被融合了）。再举个例子，就算是一个专搞面向消费市场／互联网公共云的公司，尤其是上市公司，仍是需要 Oracle 或 SAP 的财务应用（例如苹果用的就是Oracle 的电子商务套件），而这些应用的背后，仍可能是Oracle数据库。


本文仅代表作者个人观点，与甲骨文公司无关。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/16186206/viewspace-683425/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/16186206/viewspace-683425/