NoSQL简介
NoSql(NoSQL=Not Only SQL),意思是不仅仅是SQL,泛指非关系型数据库。
NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题,包括超大规模数据的存储。这些类型的数据存储不需要固定模式,无需多余操作就可以横向扩展。
特点
易扩展
NoSQL数据库种类繁多,但是一个共同的特点都是去掉关系数据库的关系型特征;数据之间无关系,这样就非常容易扩展,也就无形之间,在架构的层面上带来了可扩展的能力。
大数据量高性能
NoSQL数据库都具有非常高的读写性能,尤其在大数据量下,同样表现优秀。数据库的结构简单。
MySQL使用Query Cache,每次表的功能Cache就失效了,是一种大粒度的Cache,而NoSQL的Cache是记录级的,是一种细粒度的Cache,所以NoSQL在这个层面来说性能高很多。
多样灵活的数据模型
NoSQL无需实现为要存储的数据建立字段,随时可以存储自定义的数据格式,而在关系数据库里,增删改字段是非常麻烦的。
RDBMS vs NoSQL
RDBMS
-
高度组织化的结构化数据
-
结构化的查询语言(SQL)
-
数据的关系都存储在单独的表中
-
数据操纵语言,数据定义语言
-
严格的一致性
-
基础事务
NoSQL
-
没有声明性查询语言
-
没有预定义的模式
-
键-值对存储,列存储,文档存储,图形数据库
-
最终一致性,非ACID
-
非结构化和不可预知的的数据
-
CAP定义
-
高性能,高可用性和可伸缩
常用的NoSQL
Redis、Memcache、Mongdb、Tair、CounchDB、Cassandra、HBase
NoSQL的四大分类
-
KV键值对
-
文档型数据库
-
列存储数据库
-
图关系数据库
分类 | 举例 | 典型应用场景 | 数据模型 | 优点 | 缺点 |
---|---|---|---|---|---|
键值(key-value) | Tokyo Cabinet/tyrant Redis,Voldemort Oracle BDB | 内容缓存,重要用于处理大量数据的高访问负载,也用于一些日志系统 | Key指向Value的键值对,通常用hash table 来实现 | 查找速度快 | 数据无结构化,通常指被当作字符串或者二进制数据 |
列存储数据库 | Cassandra,HBase,Riak | 分布式的文件系统 | 以列簇式存储,将同一列数据存在一起 | 查找速度快,可扩展性强,更容易进行分布式扩展 | 功能相对局限 |
文档型数据库 | CounchDB,MongoDB | Web应用 | key-value对应的键值对,Value为结构化数据 | 数据结构要求不严格,表结构可变,不用预定义表结构 | 查找性能不高,而且缺乏统一的查找语法 |
图形数据库 | Neo4J,InfoGrid,Infinite Graph | 社交网络,推荐系统,专注于构建关系图谱 | 图结构 | 利用图结构相关算法 | 很多时候需要对整个图做计算才能得出需要信息,而且这种结构不容易做分布式集群 |
ACID &CAP
ACID
关系型数据库遵循ACID规则 事务在英文中是transaction,和现实世界中的交易很类似,它有如下四个特性:
-
A (Atomicity)原子性 原子性很容易理解,也就是说事务里的所有操作要么全部做完,要么都不做,事务成功的条件是事务里的所有操作都成功,只要有一个操作失败,整个事务就失败,需要回滚。比如银行转账,从A账户转100元至B账户,分为两个步骤: 1) 从A账户取100元,2)存入100元至B账户。这两步要么一起完成,要么一起不完成,如果只完成第一步, 第二步失败,钱会莫名其妙少了100元。
-
C (Consistency)一致性 一致性也比较容易理解,也就是说数据库要一 直处于一致的状态,事务的运行不会改变数据库原本的一致性约束。
-
I (Isolation) 独立性 所谓的独立性是指并发的事务之间不会互相影响,如果一个事务要访问的数据正在被另外一个事务修改,只要另外一个事务未提交,它所访问的数据就不受未提交事务的影响。比如现有有个交易是从A账户转100元至B账户,在这个交易还未完成的情况下,如果此时B查询自己的账户,是看不到新增加的100元的
-
D (Durability) 持久性 持久性是指一旦事务提交后,它所做的修改将会永久的保存在数据库上,即使出现宕机也不会丢失。
CAP
C:Consistency (强一致性) A:Availability (可用性) P:Partition tolerance ( 分区容错性)
CAP理论就是说在分布式存储系统中,最多只能实现上面的两点。而由于当前的网络硬件肯定会出现延迟丢包等问题,所以分区容忍性是我们必须需要实现的。所以我们只能在一致性和可用性之间进行权衡,没有NoSQL系统能同时保证这三点。
C:强一致性 A:高可用性 P:分布式容忍性
-
CA传统Oracle数据库
-
AP大多数网站架构的选择
-
CP Redis、Mongodb
注意:分布式架构的时候必须做出取舍。 一致性和可用性之间取一个平衡。多余大多数web应用,其实并不需要强一致性。 因此牺牲C换取P,这是目前分布式数据库产品的方向
一致性与可用性的决择
对于web2.0网站来说,关系数据库的很多主要特性却往往无用武之地
数据库事务一致性需求:很多web实时系统并不要求严格的数据库事务,对读-致性的要求很低,有些场 合对写一致性要求并不高。允许实现最终一致性。
数据库的写实时性和读实时性需求:对关系数据库来说,插入一条数据之后立刻查询,是肯定可以读出来这条数据的,但是对于很多web应用来说,并不要求这么高的实时性,比方说发一条消息之后,过几秒乃至十几秒之后,我的订阅者才看到这条动态是完全可以接受的。
对复杂的SQL查询,特别是多表关联查询的需求:任何大数据量的web系统,都非常忌讳多个大表的关联查询,以及复杂的数据分析类型的报表查询,特别是SNS类型的网站,从需求以及产品设计角度,就避免了这种情况的产生。往往更多的只是单表的主键查询,以及单表的简单条件分页查询,SQL的功能被极大的弱化了。
CAP理论的核心是:一个分布式系统不可能同时很好的满足一致性,可用性和分区容错性这三个需求,最多只能同时较好的满足两个。 因此,根据CAP原理将NoSQL数据库分成了满足CA原则、满足CP原则和满足AP原则三大类:
-
CA:单点集群,满足一致性,可用性的系统,通常在可扩展性上不太强大。
-
CP:满足一致性,分区容忍必的系统,通常性能不是特别高。
-
AP:满足可用性,分区容忍性的系统,通常可能对一-致性要求低一些。