hbase shell查看表有哪些列族和列_带你涨姿势，Hbase 概念原理扫盲 ！

加个“星标”，每天上午 09:25，干货推送！

来源：https://www.cnblogs.com/bainianminguo/p/12110077.html
作者：bainianminguo

一、Hbase简介

1、什么是Hbase

Hbase的原型是google的BigTable论文，收到了该论文思想的启发，目前作为hadoop的子项目来开发维护，用于支持结构化的数据存储。

Hbase是一个高可靠性(存储在hdfs上，有副本机制)，高性能，面向列，非关系型的数据库(类似redis)，可伸缩的分布式存储系统(因为是存储在hdfs上)，利用hbase技术可在廉价PC
server上搭建大规模结构化的数据库存储集群。

Hbase的目标是存储并处理大型的数据，更具体来说仅需使用普通的硬件，就能够处理由成千上万行和列所组成的大型数据。

Hbase是基于hdfs构建的分布式存储框架，但是Hbase在hdfs上实现随机的读写改，解决了hdfs不支持的东西

2、Hbase的特点

A、海量存储

B、列式存储

这里的列式存储其实说的是列族存储，Hbase是根据列族来存储数据的，列族下面可以有非常多的列，列族在创建表的时候必须指定

Hbase中的列和mysql的列不是一个东西，Hbase的列就是他的数据

C、极易扩展

Hbase的扩展性主要体现在两个方面，一个是基于上层的梳理能力的扩展(RegionServer，相当于datanode，处理读写请求)，一个是基于存储的扩展(hdfs)

通过横向添加RegionServer的机器，进行水平扩展，提升Hbase上层的处理能力，提升Hbase服务更多的Region的能力。

备注：RegionServer的作用是管理Region)(类似mysql中的表的概念)，承接客户端的读写请求的访问，这个后面会详细的介绍通过横向添加datanode的机器，进行存储层的扩容，提升Bhbase的存储能力和提升后端存储的读写能力

D、稀疏

稀疏主要是针对于hbase列的灵活性，在列族中，你可以指定任意多的列，在列数据为空的情况下，是不会占用存储空间的，这里和mysql等数据库不一样，mysql如果每个字段没有值，那这个字段的值为null，不为空，且会占用存储空间

3、Hbase的架构

Hbase的架构示意图如下

Hbase由HMaster和HRegionServer组成，HMaster的高可用也依赖于zk，类似于hdfs中的Namenode;

HRegionServer相当于hdfs中的datanode，实际处理读写请求的节点;

a、Zookeeper

HBase通过zk来做Hmaster的高可用，RegionServer的监控，元数据的入口以及集群配置的维护等工作，具体工作入下

通过zk来保证集群中只有一个master在运行，如果master异常，会通过竞争机制产生新的master提供服务

通过zk来监控RegionServer的状态，当RegionServer有异常的时候，通过回调的形式通知master,RegionServer上下线的信息

通过zk存储元数据的统一入口地址；

b、HMaster

为RegionServer分配Region

维护集群的负载均衡，就是分配Region

维护集群的元数据信息

发现失效的Region，并将失效的Region分配到正常的RegionServer上

当RegionServer失效的时候，协调对应的Hlog和hdfs的block进行数据恢复

C、HRegionServer

HRegionServer直接对接用户的读写请求，是真正的干活的节点，他的功能概括如下

管理master为其分配的Region

处理来自客户端的读写请求

负责和底层hdfs的交互，存储数据到hdfs中

负责Region变大后的拆分

负责Storefile的合并工作

D、HDFS

Hdfs为hbase提供最终的底层数据存储服务

提供元数据和表数据的底层分布式存储服务

数据的多副本，保证高可靠和高可用

E、Hlog

一个HRegionServer中只有一个Hlog，Hlog相当于hdfs中的edits文件，保存Hbase的修改记录，当对Hbase写数据的时候，数据不是直接写进磁盘，他会在内存中保留一段时间(时间i将数据量的阈值可以设定)。但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Hlog的文件中，Hlog存储在磁盘上，也位于hdfs上，然后在写入内存，所以在系统出现故障或者内存丢失的时候，数据可以通过这个日志文件进行重建

F、Region

Region相当于mysql中的表，一个HRegionServer可以有多个Region，一个HRegionServer会有多个Region；如果表的数据太大，会进行拆分，按照数据量平均切分，所有HBase中的一张表会对应一个或者多个Region，当表的内容很小，一张表就对应一个Region，如果表很大的话，则这个Region会切分，切分Region会同时拆分这个Region的所有Store。

G、Store

Store相当于列族，通俗的讲就是列的家族，在hbase中，想创建一个列，必须要指定列族，也就是一个列必须属于某个列族。一个表中可以有多个列族，一个store对应一个列族，hbase官方不建议多个列族，一个列族就可以搞上百个列，足够用了。但是如果一个HRegion被切分的话，是切分列族，所以就算一个HRegion只有一个列表，切分后一个Region也会对应多个Store，多个strore会被分配到其他的HRegionServer节点进行存储

H、MemStore

MemStore就是列族中的数据放在内存中，写数据来了，会写到内存中，只要内存写入成功，则就返回。

I、StoreFile

StoreFile，数据放在内存不安全，而且有大小限制，所以需要把内存中的数据写到磁盘中，以Hfile的格式存储在hdfs上。每次memstore刷一次，形成一个storefile，所以storefile会很多，但是很小，因为内存本身就不大，后面storeFile也会合并，但是这个合并也仅仅是一个列族内部的StoreFile进行合并，不会跨列族合并的

J、HFile

这是磁盘上保存的原始数据的实际的物理文件，是实际的存储文件，storefile是以Hfile的形式存储在hdfs中

二、Hbase安装

1、首先要安装zk

2、 然后要安装hdfs

3、 最后在安装hbase

4、 解压，修改配置文件

这里重点说下修改配置文件，前面的就不说了，因为我