大数据面试系列之——Hbase

Hbase是一个分布式的列式存储的数据库

1.说说Hbase的特点

• 1.分布式架构，Hbase通过集群存储数据，数据最终会落到HDFS上
• 2.是一种NoSQL的非关系型数据库，不符合关系型数据库的范式
• 3.面向列存储，底层基于key-value结构
• 4.适合存储半结构化、非结构化的数据
• 5.适合存储稀疏的数据，空的数据不占用空间
• 6.提供实时的增删改查的能力，但是不提供严格的事务机制，只能在行级别提供事务

2.Hbase的架构组成及其作用

• 1.Zookeeper，作为分布式的协调。RegionServer也会把自己的信息写到ZooKeeper中。
• 2.HDFS是Hbase运行的底层文件系统
• 3.RegionServer，理解为数据节点，存储数据的
• 4.Master RegionServer要实时的向Master报告信息。Master知道全局的RegionServer运行情况，可以控制RegionServer的故障转移和Region的切分

3.说说行存储和列存储的特点

• 1.行存储在磁盘上的存储是连续的；列存储在磁盘上的存储是不连续的
• 2.从写入性能上对比，写入次数越少性能越高。因为针对磁盘的每一次写入，都要发生磁头调度，产生寻道时间。因为行存储是只写一次而列存储要写多次，所以行存储在写入性能上更有优势
• 3.从读取性能上对比：
  a. 如果读取的是整表，则行存储性能较高
  b. 如果是读取指定的列，则行存储会产生冗余列，而冗余列的消除是在内存中发生。而列存储则不会存在冗余列
• 4.在存储数据的时候，如果基于行存储，由于一行数据的字段类型可能不同，所以会产生频繁的数据类型转换；如果是基于列存储，由于同一列数据的类型一般一致，则可以避免频繁的数据类型转换，同时可以考虑一些更好的压缩算法对一列数据进行压缩

4.Hbase行键列族的概念，物理模型，表的设计原则

• 行键：是hbase表自带的，每个行键对应一条数据。

• 列族：是创建表时指定的，为列的集合，每个列族作为一个文件单独存储，存储的数据都是字节数组，其中数据可以有很多，通过时间戳来区分。

• 物理模型：整个hbase表会拆分成多个region，每个region记录着行键的起始点保存在不同的节点上，查询时就是对各个节点的并行查询，当region很大时使用.META表存储各个region的起始点，-ROOT又可以存储.META的起始点。

• Rowkey的设计原则：各个列族数据平衡，长度原则、相邻原则，创建表的时候设置表放入regionserver缓存中，避免自动增长和时间，使用字节数组代替string，最大长度64kb，最好16字节以内，按天分表，两个字节散列，四个字节存储时分毫秒。

• 列族的设计原则：尽可能少(按照列族进行存储，按照region进行读取，不必要的io操作)，经常和不经常使用的两类数据放入不同列族中，列族名字尽可能短

5.HBase简单读写流程

• 读：
  找到要读数据的region所在的RegionServer，然后按照以下顺序进行读取：先去BlockCache读取，若BlockCache没有，则到Memstore读取，若Memstore中没有，则到HFile中去读。
• 写：
  找到要写数据的region所在的RegionServer，然后先将数据写到WAL(Write-Ahead Logging，预写日志系统)中，然后再将数据写到Memstore等待刷新，回复客户端写入完成。

6.请描述如何解决Hbase中region太小和region太大带来的结果

Region过小会发生多次compaction，将数据读一遍并写一遍到hdfs上，占用io，region过大会造成多次split，region会下线，影响访问服务，调整hbase.heregion.max.filesize为256m。

7.Hbase表的设计原则

• 1、列族的数量及列族的势
  建议将HBase列族的数量设置的越少越好。当前，对于两个或两个以上的列族HBase并不能处理的很好。这是由于HBase的Flushing和压缩是基于Region的。当一个列族所存储的数据达到Flushing的阈值时，该表中所有列族将同时进行Flushing操作。这将带来不必要的I/O开销，列族越多，该特性带来的影响越大。
  此外，还要考虑到同一个表中不同列族所存储的记录数量的差别，即列族的势(Cardinality)。当两个列族数量差别过大时会使包含记录数量较少列族的数据分散在多个Region上，而Region有可能存储在不同的RegionServer上。这样，当进行查询或scan操作的时候，系统效率将会受到影响。

• 2、行键(RowKey)的设计
  首先应该避免使用时序或单调(递减/递增)行键。因为当数据到来的时候，HBase首先需要根据记录的行键来确定存储的位置，即Region的位置，如果使用时序或单调行键，那么连续到来的数据将被分配到同一个Region中，而此时系统的其他Region/RegionServer处于空闲状态，这是分布式最不希望看到的状态。

• 3、尽量最小化行键和列族的大小
  在HBase中，一个具体的值由存储该值的行键、对应的列(列族：列)以及该值的时间戳决定。HBase中索引是为了加速随即访问的速度，索引的创建是基于“行键+列族：列+时间戳+值”的，如果行键和列族的大小过大，甚至超过值本身的大小，那么将会增加索引的大小。并且在HBase中数据记录往往非常之多，重复的行键、列将不但使索引的大小过大，也将加重系统的负担

• 4、版本的数量
  默认情况下为3个，可以通过HColumnDescriptor进行设置，建议不要设置的过大

8.Hbase如何导入数据

使用 MapReduce Job 方式，根据 Hbase API 编写 java 脚本，将文本文件用文件流的方式截取，然后存储到多个字符串数组中，在 put 方法下，通过对表中的列族进行 for 循环遍历列名，用 if 判断列名后进行 for 循环调用 put.add 的方法对列族下每一个列进行设值，每个列族下有几个列就赋值几次，没有表就先创建表。

9.Hbase的存储结构

Hbase 中的每张表都通过行键(rowkey)按照一定的范围被分割成多个子表（HRegion），默认一个 HRegion 超过 256M 就要被分割成两个，由 HRegionServer 管理，管理哪些 HRegion由 Hmaster 分配。 HRegion 存取一个子表时，会创建一个 HRegion 对象，然后对表的每个列族（Column Family）创建一个 store 实例，每个 store 都会有 0 个或多个 StoreFile 与之对应，每个 StoreFile 都会对应一个 HFile， HFile 就是实际的存储文件，