NoSQL常用知识

简介

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题，包括超大规模数据的存储。（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。

RDBMS与NoSQL对比

RDBMS

• 高度组织化结构化数据
• 结构化查询语言（SQL）
• 数据和关系都存储在单独的表中。
• 数据操纵语言，数据定义语言
• 严格的一致性
• 基础事务

NoSQL

• 代表着不仅仅是SQL
• 没有声明性查询语言
• 没有预定义的模式
  -键 - 值对存储，列存储，文档存储，图形数据库
• 最终一致性，而非ACID属性
• 非结构化和不可预知的数据
• CAP定理
• 高性能，高可用性和可伸缩性

3V与3高

大数据时代下的3V：

• Volume：海量
• Variety：多样
• Velocity：实时

互联网需求的3高

• 高并发
• 高可扩
• 高性能

NoSQL数据结构模型

NoSQL中用到的数据结构模型称为聚合模型，是区别于SQL中用到的二维表的结构化模型，聚合模型可以将需要的有关系的数据聚合到一起，比如下面使用Bson数据格式（Binary JSON）的聚合数据：

{
 "customer":{
   "id":1136,
   "name":"Z3",
   "billingAddress":[{"city":"beijing"}],
   "orders":[
    {
      "id":17,
      "customerId":1136,
      "orderItems":[{"productId":27,"price":77.5,"productName":"thinking in java"}],
      "shippingAddress":[{"city":"beijing"}]
      "orderPayment":[{"ccinfo":"111-222-333","txnid":"asdfadcd334","billingAddress":{"city":"beijing"}}],
      }
    ]
  }
}

聚合模型的分类

• KV键值对
• Bson
• 列族
• 图形

解释：
1、KV键值对无需过多解释，比如Java中的Map就是这种。
2、Bson是一种特殊的Json格式，它是一种二进制形式的存储格式，简称Binary JSON，它和JSON一样，支持内嵌的文档对象和数组对象。
3、顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半构化数据，方便做数据压缩，对针对某一列或者某几列的查询有非常大的IO优势。
4、图形是像数据结构中“图”的概念一样，经常出现在社交平台的数据关系中。

对应数据库分类

以上四种聚合模型的分类对应着四种不同类型的NoSQL数据库产品，具体分类如下：

KV键值对
新浪：BerkeleyDB+redis
美团：redis+tair
阿里、百度：memcache+redis

文档型数据库（Bson格式居多）
CouchDB
MongoDB

列存储数据库
Cassandra
HBase

图关系数据库
Neo4J
InfoGrid

ACID和CAP+BASE

ACID的介绍

• A (Atomicity) 原子性
• C (Consistency) 一致性
• I (Isolation) 独立性
• D (Durability) 持久性

关系型数据库遵循ACID规则
事务在英文中是transaction，和现实世界中的交易很类似，它有如下四个特性：
1、A (Atomicity) 原子性
原子性很容易理解，也就是说事务里的所有操作要么全部做完，要么都不做，事务成功的条件是事务里的所有操作都成功，只要有一个操作失败，整个事务就失败，需要回滚。比如银行转账，从A账户转100元至B账户，分为两个步骤：1）从A账户取100元；2）存入100元至B账户。这两步要么一起完成，要么一起不完成，如果只完成第一步，第二步失败，钱会莫名其妙少了100元。
2、C (Consistency) 一致性
一致性也比较容易理解，也就是说数据库要一直处于一致的状态，事务的运行不会改变数据库原本的一致性约束。
3、I (Isolation) 独立性
所谓的独立性是指并发的事务之间不会互相影响，如果一个事务要访问的数据正在被另外一个事务修改，只要另外一个事务未提交，它所访问的数据就不受未提交事务的影响。比如现有有个交易是从A账户转100元至B账户，在这个交易还未完成的情况下，如果此时B查询自己的账户，是看不到新增加的100元的
4、D (Durability) 持久性
持久性是指一旦事务提交后，它所做的修改将会永久的保存在数据库上，即使出现宕机也不会丢失。

CAP介绍

• C:Consistency（强一致性）
• A:Availability（可用性）
• P:Partition tolerance（分区容错性）

CAP理论就是说在分布式存储系统中，最多只能实现上面的两点。而由于当前的网络硬件肯定会出现延迟丢包等问题，所以在分布式系统中分区容忍性是我们必须需要实现的。所以我们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这三点。

CAP的3进2原则：
C:强一致性 A:高可用性 P:分布式容忍性
CA：传统Oracle数据库。（单点集群，满足一致性，可用性的系统，通常在可扩展性上不太强大。）
AP： 大多数网站架构的选择在。（满足可用性，分区容忍性的系统，通常可能对一致性要求低一些。）
CP： Redis、Mongodb。（满足一致性，分区容忍必的系统，通常性能不是特别高。）

BASE介绍

BASE就是为了解决关系数据库强一致性引起的问题而引起的可用性降低而提出的解决方案。BASE其实是下面三个术语的缩写：

• 基本可用（Basically Available）
• 软状态（Soft state）
• 最终一致（Eventually consistent）

它的思想是通过让系统放松对某一时刻数据一致性的要求来换取系统整体伸缩性和性能上改观。为什么这么说呢，缘由就在于大型系统往往由于地域分布和极高性能的要求，不可能采用分布式事务来完成这些指标，要想获得这些指标，我们必须采用另外一种方式来完成，这里BASE就是解决这个问题的办法