林子雨《大数据技术原理与应用》第五讲——NoSQL数据库

林子雨《大数据技术原理与应用》第五讲——NoSQL数据库

林子雨《大数据技术原理与应用》第五讲笔记

---

NoSQL数据库特点

1. 灵活的可扩展性
2. 灵活的数据模型
3. 和云计算结合
4. 查询性能差
5. 未形成通用的行业标准
6. 维护更加复杂

NoSQL数据库有四大类型

• 键值数据库：redis
• 列族数据库：HBase、Cassandra
• 文档数据库：MongoDB
• 图数据库：Neo4j

键值数据库

数据模型：键是一个字符串对象，值可以是任意类型的对象
典型应用：设计频繁读写，拥有简单数据模型的应用
优点：扩展性好，灵活性好，大量写操作性能高，数据模型简单
缺点：无法存储结构化信息，条件查询效率低
不适用情形：无法提供通过值的查询
使用者：百度云数据库(Redis)
作用：是理想的缓冲层解决方案

列族数据库

数据模型：列族
典型应用：分布式数据存储与管理
优点：查找速度快、可扩展性强、容易进行分布式扩展、复杂性低
缺点：功能较少、大都不支持强事务一致性
不适用情形：需要ACID事务支持的情形Cassandra等就不适用
使用者：Facebook(HBase),Yahoo(HBase)
相关产品：Big Table、HBase、Cassandra

文档数据库

特性：能够将自己的数据内容和类型进行自我描述
数据模型：本质上是键值数据库，只不过value是版本化文档
典型应用：存储、索引并管理面向文档的数据或者类似的半结构化数据
优点：性能好（高并发），灵活性高
缺点：缺乏统一的查询语法
不适用情形：不支持文档间的事务
使用者：百度云数据库（MongoDB）
相关产品：MongoDB、CouchDB

图数据库

相关产品：Neo4j
数据模型：图结构
优点：灵活性高、支持复杂的图形算法，可用于构建复杂的关系图谱
缺点：数据模型应用范围有限
典型应用：专门用于处理具有高度相互关联关系的数据，比较适合于社交网络、模式识别、依赖分析、推荐系统以及路径寻找等问题

NoSQL的理论基石

CAP理论

 Consistency 一致性：从不同地方读取到的数据是一致的
 Availability 可用性：随时可以进行操作
 Partition tolerance 分区容忍性：当系统中一部分节点无法和其他节点进行通信——即出现了网络分区——系统也能正常运行

理论与实践
研究表明，这三者是不能同时兼顾的。
假设这样一个场景，有一个数据库可以在机器1和机器2上读写访问。机器1上有一个进程A向数据库更新信息，更新信息后机器1自动向机器2发送更新的信息，再从机器2上读信息。如果此时机器1和机器2之间的通信断了，那么从机器2上读取信息就不能读到最新的信息。
如果满足AP，也就是让数据库随时都能访问，出现网络分区也能够运行，那么此时从机器1和机器2上读到的信息是不一致的，也就是不能满足一致性。
如果要让读到的信息一致，满足一致性，要么有一个时间不能读取到信息（也就是在机器1和2之间的网络断了时不能读取信息，因为此时读到的信息是不一致的），即舍弃A；要么不能出现网络分区（上述机器1和机器2之间网络断了的情况不能出现），即舍弃P。因此，三者只能取其二。
By the way, 如果要满足CA，往往会把所有与事务有关的内容放在同一台机器上。

不同产品在CAP理论下的不同设计原则

• 选择CA：MySQL、SQL Server、PostgresSQL
• 选择CP：Neo4j、BigTable、MongoDB、HBase、Hypertable、Redits
• 选择AP：Dynamo、Cassandra、Voldemort、CouchDB、Riak

BASE

即Basically Avaible Soft State 和 Eventual consistency的简写。

BASE是NoSQL数据库的理论基石，base有“碱”的意思，而ACID是关系型数据库中事务的四个性质，acid有“酸”的意思，两者刚好是互相对应的。

概念

• Basically Avaible：基本可用，分布式系统一部分发生问题，另一部分依然可用
• Soft-State：软状态。有软状态和硬状态之分。硬状态指必须保持一致，软状态允许有段时间不一致。
• Eventual Consistency：最终一致性。有强一致性和弱一致性之分。两者的区别在于高并发的数据访问下，后续操作是否能够获得最新数据。最终一致性就是弱一致性的特例。
  • 最终一致性可以分为：
    • 因果一致性
    • “读己之所写”一致性
    • 会话一致性
    • 单调读一致性
    • 单调写一致性

如何实现各种一致性
假设一个分布式系统，为了实现它的可靠性，要对数据进行冗余存储，记N为数据冗余的份数，W为更新数据时需要保证写完成的节点数，R为读取数据时需要读取的节点数
W+R>N：强一致性。必有写节点和读节点重复
W+R<=N：弱一致性

实例
HBase是借助底层的HDFS来实现数据冗余备份的，HDFS采用强一致性，设置W=N,R=1

NewSQL数据库

从NoSQL数据库到NewSQL数据库

数据库发展初期(OldSQL)，追求一种架构支持多类应用，即One Size Fits All。发展到现在大数据时代，架构多元化，追求多架构支持多类应用。

应用场景

• 分析型应用：用NewSQL支持
• 事务型应用：用OldSQL支持
• 互联网应用：用NoSQL支持

NewSQL数据库的特点

• 仍然采用关系型数据
• 支持海量数据存储
• 支持SQL查询
• 水平可扩展
• 强一致性
• 事务一致性

MongoDB 文档数据库

概念

• C++写的
• 水平可扩展
• 将数据存储为文档
• 数据结构由键值对组成

特点

• 提供了面向文档存储，操作更加容易
• 可以设置任何属性的索引
• 水平可扩展性好
• 丰富的查询表达式
• 可替换已完成文档的某个指定字段
• 可进行MapReduce操作
• 安装简单

MongoDB中的概念解析

SQL术语\概念	MongoDB术语\概念	解释
database	database	数据库
table	collection	数据库表\集合
row	document	数据记录行\文档
column	field	数据字段\域
index	index	索引
table joins		表连接MongoDB不支持
primary key	primary key	主键MongoDB自动将_id字段设置为主键

MongoDB数据库的服务端和客户端

服务端：mongod
客户端：mongo

集合

在MongoDB中集合就是文档组，存在于数据库中，文档没有固定的结构，可以对集合插入不同格式和类型的数据

使用MongoDB shell访问MongoDB的步骤

1. 连接服务器
2. 登陆数据库
3. 创建数据库
4. 创建集合
5. 插入文档