NoSQL大数据存储技术思考题及参考答案

思考题及参考答案

第1章 绪论

1. NoSQL和关系型数据库在设计目标上有何主要区别？

(1)关系数据库

优势：以完善的关系代数理论作为基础，具有数据模型、完整性约束和事务的强一致性等特点，借助索引机制可以实现高效的查询，技术成熟，有专业公司的技术支持。

劣势：可扩展性较差，无法较好支持海量数据存储，数据模型过于死板、无法较好支持Web2.0应用，事务机制影响了系统的整体性能等。

(2)NoSQL数据库

优势：NoSQL数据库会采用非关系的数据模型，弱化模式或表结构、弱化完整性约束、弱化甚至取消事务机制。可能无法支持，或不能完整的支持SQL语句。目的是实现强大的分布式部署能力——一般包括分区容错性、伸缩性和访问效率（可用性）等。可以支持超大规模数据存储，灵活的数据模型可以很好地支持Web2.0应用，具有强大的横向扩展能力等。

劣势：缺乏数学理论基础，复杂查询性能不高，大都不能实现事务强一致性，很难实现数据完整性，技术尚不成熟，缺乏专业团队的技术支持，维护较困难等。

2. 简要总结一下NoSQL数据库的技术特点。

（1）NoSQL数据库会采用非关系的数据模型

（2）弱化模式或表结构、弱化完整性约束、弱化甚至取消事务机制

（3）可能无法支持，或不能完整的支持SQL语句

（4）目的是实现强大的分布式部署能力——一般包括分区容错性、伸缩性和访问效率（可用性）等

（5）NoSQL大多是开源免费的

3. 从发展趋势上看，NoSQL是否可以取代关系型数据库？并说明原因。

NoSQL不能取代关系型数据库。事实上，NoSQL数据库和关系型数据库是互补关系，在不限定场景的情况下，无法比较谁更强。

关系型数据库能够更好地保持数据的完整性和事务的一致性，以及支持对数据的复杂操作，在现实中拥有更普遍的适用领域。NoSQL数据库做不到上述，但是可以更好地实现分布式环境下对数据的简单管理和查询，即在大数据业务领域具有更大价值。

第2章 NoSQL数据库的基本原理

1. 描述分布式数据管理的特点。

（1）数据分片：使数据均匀分布到多个节点上，可以充分利用各个节点的处理能力、存储能力和吞吐能力。

（2）数据多副本：将数据存储为多个副本，不同的副本存储在不同节点上。

（3）一次写入多次读取：在系统底层只支持新建和追加，此时系统具有更好的顺序存储特性。

（4）分布式系统的可伸缩性：可以移除故障节点，替换新节点，实现数据的再平衡。

2 什么是CAP原理？CAP原理是否适用于单机环境？

CAP是指分布式系统中的Consistency（一致性）、Availability（可用性）、Partition tolerance（分区容错性）。Consistency（一致性）是指分布式系统中所有节点都能对某个数据达成共识。Availability（可用性）可以理解为分布式系统的响应速度或响应能力。Partition tolerance（分区容错性）指在部分节点故障、以及出现消息丢包的情况下，集群系统（的剩余部分）仍然可以提供服务。

CAP理论是指在分布式系统中，CAP三个特性不可兼得，只能同时满足两个。CAP不能兼顾，但并非绝对对立。

CAP理论的主要场景是在分布式环境下,在单机环境下,基本可不考虑CAP问题. 

3. 简述BASE理论的具体含义。

由于CAP无法兼顾，分布式系统需要根据实际业务要求，对一致性做一定妥协，提供弱一致性保障。具体要求为BASE理论：

1. Basically Available（基本可用）：核心部分或其他数据可用。
2. Soft-state（软状态/柔性事务）：允许多个副本存在暂时的不一致状态。

（3）Eventual Consistency （最终一致性）：存在中间状态，但经历一段时间之后，最终会一致。

4. 在数据一致性问题上，ACID和BASE的差别是什么？

（1）ACID是典型的强一致性要求。要求多个节点的数据副本都是一致的，强调数据的一致性。ACID是大多数NoSQL抛弃的机制，因为无法在分布式环境中保证效率。

（2）BASE的最终一致性（在一些应用场景下）也可以看作NoSQL允许多个副本可以存在暂时的不同步（即异步更新）。结合CAP理论，这种设计强调PA，可以提高响应速度。

5. 简述NoSQL数据库的4种类型，以及它们的数据模型。

1. 键值对存储模式（key-value）

数据模型：每行数据的结构为：<key, value>。值可以看作是一个单一的存储区域，可以是任何的类型。

（2）列存储模式（column-family）

数据模型：可以看作是一种纵向切分数据的方式，不同列会放到不同的位置（节点）存储，实际软件一般也会按照行键（key）再进行横向切片和分布式存储。

（3）文档存储模式（document）

数据模型：可以看作键值对模式的升级，底层存储的每行数据中仍然存在key（或者ID）和value。但值是采用JSON等格式描述的复杂数据类型。

（4）图存储模式（graph）

数据模型：将数据存储为点和边的关系。

6. 布隆过滤器的优缺点是什么？如何降低布隆过滤器的误报率？

布隆过滤器 的目的是检查某个元素是否存在于集合（例如数据块）中。

优点是空间占用低、检索速度快，缺点则是存储在一定的误报率：当布隆过滤认为某元素存在于集合时，该元素可能并不存在，但如果布隆过滤认为该元素不存在于集合，则肯定不存在。

布隆过滤器的误报率，和哈希算法的个数、二进制向量的大小以及数据总量有关，一般来说二进制向量越大，误报率越低，因此需要在存储空间占用和误报率之间做权衡。降低误报率的方法：（1）采取多个独立的哈希算法同时进行映射。（2）增大二进制向量的大小。

第4章 HBase的基本原理与应用

1. HDFS是否属于NoSQL数据库？请说明用HDFS进行数据管理存在的问题。

HDFS不属于NoSQL数据库。

用HDFS进行数据管理存在的问题：

（1）HDFS不支持对数据的随机读写。

（2）HDFS没有数据表的概念，不能提供对数据的表格化存储。

（3）HDFS无法针对行数统计、过滤扫描等常见数据查询功能。

2. HBase的特点是什么？（4条以上）

（1）采用面向列加键值对的存储模式。

（2）可以实现便捷的横向扩展

（3）可以实现自动的数据分片。

（4）可以实现严格的读写一致性和自动的故障转移。

（5）可以实现对全文的检索与过滤。

（6）支持通过命令行或者Java、Python等语言来进行操作。

3. HBase采用了什么样的数据结构？

HBase采用的是一种面向列的键值对存储模式。HBase表中，列族是表结构的一部分，需要在建表时预先定义。

列不属于表结构，HBase不会预先定义列名及其数据类型和值域等内容。每一个记录中的每个字段必须记录自己的列名（列标识符）以及值和时间戳。

4. HBase的拓扑结构是什么？每个角色起什么作用？

HBase采用主从式架构，包括一个主节点（Hmaster）和若干个从节点（Hregionserver）。除此之外，还需要Zookeeper来实现节点监控和容错。

（1）Zookeeper是一个分布式协调服务，实现节点监控、活跃主节点选举、配置维护等功能

1. 维护元数据的总入口，以及记录Master节点的地址
2. 监控集群，如果Hregionserver出现故障，则通知Master，Master会将其负责的分区移交给其他Hregionserver
3. 当活跃Master节点故障的情况下，Zookeeper会在备用Master节点中选举一个新的活跃Master节点。

（2）HMaster节点是所有Hregionserver的管理者，负责对Hregionserver的管理范围进行分配，但不负责管理用户数据表。

（3）Hregionserver是用户数据表的实际管理者，在分布式集群中，数据表会进行水平分区，每个Hregionserver只会对一部分分区进行管理——负责数据的写入、查询、缓存和故障恢复等。用户表最终是以文件形式存储在HDFS上，但如何将写入并维护这些文件，则是由Hregionserver负责的。

5. 请用拓扑结构图的形式展示HBase的典型架构

第5章 HBase的高级原理

1. HBase中预写日志（WAL）的作用。

当数据被写入memstore之前，Regionserver会先将数据写入预写日志（WAL，Writeaheadlog），预写日志一般被写入HDFS，但键值写入时不会被排序，也不会区分Region。

出现节点宕机、线程重启等问题时，memstore中未持久化的数据会丢失。当Regionserver恢复后，会查看当前WAL中的数据，并将记录进行重放（replay），根据记录的表名和分区名，将数据恢复到指定的store中。

在进行自动或手动的数据持久化操作之后，Regionserver会将不需要的WAL清除掉。

2. 如何理解HBase的分区拆分机制，包括哪几种方式？

HBase为了实现分布式大数据管理，设计了表的水平拆分机制，这是HBase实现分布式、负载均衡以及可伸缩性等机制的重要方式。

HBase具有三种分区方式：自动分区、预分区和手动拆分，都是基于行键进行分区。

3. 如何理解HBase的合并，包括哪几种方式？

HBase中设计了合并（compact）机制，通过读取多个小文件，处理并写入一个新的大文件的方式，实现storefile的合并。它包括MajorCompact和Minor Compact两种合并方式。

4. HBase的Major Compact和Minor Compact两种合并方式有什么区别？

Minor Compact只能对部分文件进行操作。在合并的过程中，会根据TTL和minVersion属性，将过期数据清除，但不做其他清理。

Major Compact将对该Region的store中所有的storefile进行合并，形成一个唯一的storefile，其中所有的无效数据都会被处理。比较而言，Major Compact开销更大且耗时更长。（5分）

第7章 MongoDB的原理和使用

1. 描述MongoDB的集群架构（包含的角色和每个角色的作用）。

MongoDB集群由Mongod、Mongos和Config服务器组成。

（1）负责存储实际数据分片的设备称为Mongod（或称为Shard）。

（2）Mongos服务器，作为用户访问集群的入口，负责与客户端的交互，并在内存中缓存分片数据的存储和路由信息。

（3）Config服务器，负责持久化存储各类元数据和配置信息，当Mongos服务器启动时，会通过Config服务器读取相关信息并缓存到内存。

2. 请用拓扑结构图的形式展示MongoDB的典型架构

3. 描述MongoDB的分片机制，它支持哪几种分片策略？

MongoDB将数据水平切分机制称为分片（Sharding）。MongoDB支持对文档的自动分片，分片的依据是分片键（Shard Keys），分片键可以由文档的一个或多个字段构成。

MongoDB支持三种分片（片键）策略：升序分片、哈希分片和位置分片。

（1）升序分片会将片键进行升序排序，并在当前分片的数据量达到某个阈值时进行分片。

（2）哈希分片会将片键进行哈希运算，使数据的分布更均匀。

（3）位置分片类似于对片键的前缀或子串进行判断。

4. MongoDB集群的数据多副本策略？

MongoDB支持分片的多副本，多副本采用主从备份形式。MongoDB称这种机制为复制集机制。

主节点（Primary节点）负责数据的写入和更新。主节点在更新数据的同时，会将操作信息写入日志，称为oplog。

从节点（Secondary节点）监听主节点oplog的变化，并根据其内容维护自身的数据更新，使之和主节点保持一致（最终一致性）。

第8章 其他NoSQL数据库

1． 什么是Neo4j？并对其数据模型进行详细描述。

Neo4j是一个基于Java语言的开源图数据库系统。Neo4j具有强大的图处理和查询搜索能力，通过专用的Cypher语言完成各类操作。

Neor4j采用将数据存储为节点和边的图存储模式，其中节点表示实体、边表示实体之间的关系。

2，描述Redis的数据类型（5种）。

Redis 支持的数据类型有字符串、散列、列表、集合、有序集合。

3. Redis数据库支持的几种拓扑架构。

（1）主从复制：主从结构具有读写分离，提高效率、数据备份，提供多个副本等优点。

（2）哨兵机制： 哨兵是一个分布式系统，用于对主从结构中的每台服务器进行监控，当出现故障时通过投票机制选择新的 master 并将所有的 slave 连接到新的 master。

（3）Redis集群：Redis没有使用一致性哈希机制，而是引入了哈希槽的概念。Redis 集群有16384个哈希槽，集群中所有设备平分这些哈希槽，数据则根据其行键的散列计算结果，映射到不同的哈希槽中。