大数据技术及应用

**1. （基础）HBase的实现原理是什么？
答：
(1)HBase功能组件
HBase的实现包括三个主要的功能组件：
（1）库函数：链接到每个客户端
（2）一个Master主服务器
（3）许多个Region服务器
主服务器Master负责管理和维护HBase表的分区信息，维护Region服务器列表，分配Region，负载均衡
Region服务器负责存储和维护分配给自己的Region，处理来自客户端的读写请求
客户端并不是直接从Master主服务器上读取数据，而是在获得Region的存储位置信息后，直接从Region服务器上读取数据
客户端并不依赖Master，而是通过Zookeeper来获得Region位置信息，大多数客户端甚至从来不和Master通信，这种设计方式使得Master负载很小
(2)表和Region
开始只有一个Region，后来不断分裂
Region拆分操作非常快，接近瞬间，因为拆分之后的Region读取的仍然是原存储文件，直到“合并”过程把存储文件异步地写到独立的文件之后，才会读取新文件。
(3)Region的定位
元数据表，又名.META.表，存储了Region和Region服务器的映射关系
当HBase表很大时， .META.表也会被分裂成多个Region
根数据表，又名-ROOT-表，记录所有元数据的具体位置
-ROOT-表只有唯一一个Region，名字是在程序中被写死的
Zookeeper文件记录了-ROOT-表的位置
2. （基础）NoSQL是什么？它的四大类型是什么？NoSQL的三大基石是什么？
答：
NoSQL，指的是非关系型的数据库。是对不同于传统的关系型数据库的数据库管理系统的统称。NoSQL用于超大规模数据的存储。（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。
四大类型：包括文档数据库，图数据库，键值数据库，列族数据库。

NoSQL的三大基石：CAP，BASE和最终一致性
3. （提高）HDFS和HBase各自使用场景？
答：
对于经常需要修改原有的数据的场景使用Hbase进行存储；
对于性能要求不高且只需要支持单条数据查询或者小批量数据进行查询，两者均可；
对于需要经常进行全表扫描进行大批量的查询的选择HDFS；
4.（选做）根据你的理解描述下NoSQL与关系数据库的异同，并以MongoDB为例说明NoSQL数据库特点。
答：
(1)关系数据库
优势：以完善的关系代数理论作为基础，有严格的标准，支持事务ACID四性，借助索引机制可以实现高效的查询，技术成熟，有专业公司的技术支持。
劣势：可扩展性较差，无法较好支持海量数据存储，数据模型过于死板、无法较好支持Web2.0应用，事务机制影响了系统的整体性能等。
(2)NoSQL数据库
优势：可以支持超大规模数据存储，灵活的数据模型可以很好地支持Web2.0应用，具有强大的横向扩展能力等。
劣势：缺乏数学理论基础，复杂查询性能不高，大都不能实现事务强一致性，很难实现数据完整性，技术尚不成熟，缺乏专业团队的技术支持，维护较困难等。
MongoDB是NoSQL非关系数据库
动态模式：如上所述，可以灵活地更改数据模式，而无需修改任何现有数据。
可扩展性： MongoDB可横向扩展，有助于减轻工作量并轻松扩展业务。
可管理性：数据库不需要数据库管理员。由于它以这种方式非常用户友好，因此开发人员和管理员都可以使用它。
速度：它对于简单查询来说效果很好。
灵活性：您可以在MongoDB上添加新列或字段，而不会影响现有行或应用程序性能。**