目录
简介
NoSQL【Non-relational】泛指非关系型的数据库,可用于解决大数据应用难题。
NoSQL的一大优点是易拓展。NoSQL数据库的一个共同特点是去掉了关系数据库的关系型特性,因此数据库的结构简单,数据之间无关系,非常容易拓展。
数据库类型
NoSQL数据库分为如下六类:
1. 键值(Key-Value)存储数据库【如Redis】。这类数据库主要会使用到一个哈希表,这个表中有一个特定的键和一个指针指向特定的数据。Key-Value模型优势在于简单、易部署。但如果只是对部分值进行查询或更新,Key-Value就会显得效率不够高。
典型应用场景:内容缓存、大数据量高访问负载、日志系统。
数据模型:键值对、哈希表【Hash Table】。
优点:查找速度快。
缺点:数据无结构化,通常只被当作字符串或二进制数据。
2. 列存储数据库【如HBase】。这部分数据库通常用于应对分布式存储的海量数据,键的特点是指向多个列。
典型应用场景:分布式的文件系统。
数据模型:以列簇式存储,将同一列数据存在一起。
优点:查找速度快,分布式可拓展性强。
缺点:功能相对局限。
3. 文档型数据库【如MongoDB】。这类数据库的数据模型是版本化的文档,半结构的文档以特定格式【如JSON】存储。文档型数据库可以看作是键值数据库的升级版,允许之间嵌套键值,在处理网页等复杂数据时,文档型数据库比传统键值数据库的查询效率更高。
典型应用场景:Web应用。
数据模型:键值对,值为结构化数据。
优点:表结构可变,不用像关系型数据库那样预先定义表结构。
缺点:查询性能不高,缺少统一查询语法。
4. 图形(Graph)数据库【如Neo4J】。这类数据库使用灵活的图形模型,并且能够拓展到多个服务器上,没有标准的查询语言,因此进行图形数据库查询需要制定数据模型。
典型应用场景:社交网络、推荐系统。专注于构建关系图谱。
数据模型:图结构。
优点:利用图结构相关算法,如最短路径寻址、N度关系查找等。
缺点:很多时候需要对整个图做计算才能得出需要的信息。不好做分布式集群方案。
5. 对象存储【如db4o】。通过类似面向对象语言的语法操作数据库,通过对象的方式存取数据。
6. XML数据库【如BaseX】。高效地存储XML数据,并支持XML内部查询语法,如XPath、XQuery。
整体框架
NoSQL整体框架可分为四层:
1. 数据持久层。此层定义了数据的存储形式,主要的数据存储形式有以下四种。
(1). 基于内存。速度快,但数据易丢失。
(2). 基于硬盘。保存时间久,但存取速度比基于内存形式的存取速度慢。
(3). 基于内存和硬盘。既保障了速度,又保障了数据不易丢失。
(4). 订制可拔插。保障了数据存取具有较高的灵活性。
2. 数据分布层。此层定义了数据的分布形式,主要的分布形式有以下三种。
(1). CAP支持,可用于水平拓展。
(2). 多数据中心支持,可以保障跨多数据中心也能够平稳运行。
(3). 动态部署支持,可以在运行着的集群中动态地添加或删除节点。
3. 数据逻辑层。此层表述了数据的逻辑表现形式,主要的逻辑表现形式有以下四种。
(1). 键值模型,表现形式单一,但拓展性强。
(2). 列式模型,比键值模型能够支持更复杂的数据,但拓展性相对较差。
(3). 文档模型,对于复杂数据的支持和拓展性有很大优势。
(4). 图模型,使用场景不多,一般是基于图数据结构的数据定制的。
4. 接口层。此层为上层应用提供了方便的数据调用接口,主要的接口类型选择有以下五种。
(1).Rest。
(2).Thrift。
(3).Map/Reduce。
(4).Get/Put。
(5).特定语言API。
注意:
NoSQL分层架构并不代表每个产品在每一层里只能有一种选择。
适用场景
NoSQL数据库适用于以下几种情况:
1. 数据模型比较简单。
2. 对数据库性能要求较高。
3. 不需要高度的数据一致性。
数据库
MongoDB
MongoDB是一个用C++语言编写的文档型数据库,介于关系数据库和非关系数据库之间,支持跨平台,功能丰富,支持松散的数据结构【Bjson,类似json】。
MongoDB一大特点是支持的查询语言很丰富,可以实现类似关系数据库单表查询的绝大部分功能,还能给数据建立索引。
MongoDB还具备高性能、易部署、易使用、存储数据很方便的特点。
MongoDB面向集合存储,易存储对象类型的数据,MongoDB的语言也类似于面向对象的查询语言。
MongoDB模式自由,可以将不同结构的文件存储在同一个数据库里。
Redis
Redis是一个用C语言编写的高性能Key-Value存储数据库,支持跨平台,遵守BSD协议。
Redis是基于内存的存储系统,在将数据持久化到本地磁盘时,支持以下两种模式:
1. 全量模式。将即时内存中的数据做一次快照全部存储到本地磁盘中,缺点是将数据以全量模式存入磁盘是靠一个单线程执行请求的,因此会对吞吐量造成一些压力。
2. 增量模式。 记录每次执行的语句并保存到磁盘中,类似mysql中基于语句的日志记录,每次磁盘操作时长会很短,对写入影响小。但是随着执行语句数量的不断增长,对应的aof【append only file】文件会不断变大,并占用大量磁盘空间,后续的aof操作也会越来越慢。因此可采用全量+增量复合的模式进行优化。
Redis和其它Key-Value缓存产品相比,有三个特点:
1. 支持数据的持久化,可以把内存里的数据存放到磁盘里。
2. 不仅支持简单的Key-Value类型的数据【如字符串】存储,也支持哈希【Hash】、双向链表【List】、集合【Set】、排序集合【Zset】数据结构数据的存储。
3. 支持数据备份【master-slave模式】。