HBase学习笔记

HBase简介

• Hbase(Hadoop Database)，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库；
• 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务；
• 主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库）。

HBase 数据模型

• ROW KEY

  • 决定一行数据；
  • 按照字典顺序排序的；
  • Row key只能存储64k的字节数据。

• Column Family列族 & qualifier列

  • HBase表中的每个列都归属于某个列族，列族必须作为表模式(schema)定义的一部分预先给出。如 create ‘test’, ‘course’；
  • 列名以列族作为前缀，每个“列族”都可以有多个列成员(column)；如course:math, course:english, 新的列族成员（列）可以随后按需、动态加入；
  • 权限控制、存储以及调优都是在列族层面进行的；
  • HBase把同一列族里面的数据存储在同一目录下，由几个文件保存。

• Timestamp时间戳

  • 在HBase每个cell存储单元对同一份数据有多个版本，根据唯一的时间戳来区分每个版本之间的差异，不同版本的数据按照时间倒序排序，最新的数据版本排在最前面。
  • 时间戳的类型是64位整型。
  • 时间戳可以由HBase(在数据写入时自动)赋值，此时时间戳是精确到毫秒的当前系统时间。
  • 时间戳也可以由客户显式赋值，如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。

• Cell单元格

  • 由行和列的坐标交叉决定；
  • 单元格是有版本的；
  • 单元格的内容是未解析的字节数组；
    • 由{row key， column( = +)， version} 唯一确定的单元。
    • cell中的数据是没有类型的，全部是字节码形式存贮。

• HLog(WAL log)

  • HLog文件就是一个普通的Hadoop Sequence File，Sequence File 的Key是HLogKey对象，HLogKey中记录了写入数据的归属信息，除了table和region名字外，同时还包括 sequence number和timestamp，timestamp是” 写入时间”，sequence number的起始值为0，或者是最近一次存入文件系统中sequence number。
  • HLog SequeceFile的Value是HBase的KeyValue对象，即对应HFile中的KeyValue。

HBase 架构

1. Client
   包含访问HBase的接口并维护cache来加快对HBase的访问。

2. Zookeeper

   • 保证任何时候，集群中只有一个master；
   • 存贮所有Region的寻址入口；
   • 实时监控Region server的上线和下线信息，并实时通知Master；
   • 存储HBase的schema和table元数据。

3. Master

   • 为Region server分配region；
   • 负责Region server的负载均衡；
   • 发现失效的Region server并重新分配其上的region；
   • 管理用户对table的增删改操作。

4. RegionServer

   • 维护region，处理对这些region的IO请求；
   • 负责切分在运行过程中变得过大的region。

5.Region

• HBase自动把表水平划分成多个区域(region)，每个region会保存一个表里面某段连续的数据；
• 每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region（裂变）；
• 当table中的行不断增多，就会有越来越多的region。这样一张完整的表被保存在多个Regionserver 上。

6. Memstore 与 storefile
   • 一个region由多个store组成，一个store对应一个CF（列族）；
   • store包括位于内存中的memstore和位于磁盘的storefile写操作先写入memstore，当memstore中的数据达到某个阈值，hregionserver会启动flashcache进程写入storefile，每次写入形成单独的一个storefile；
   • 当storefile文件的数量增长到一定阈值后，系统会进行合并（minor、major compaction），在合并过程中会进行版本合并和删除工作（majar），形成更大的storefile；
   • 当一个region所有storefile的大小和数量超过一定阈值后，会把当前的region分割为两个，并由hmaster分配到相应的regionserver服务器，实现负载均衡；
   • 客户端检索数据，先在memstore找，找不到再找storefile。

• HRegion是HBase中分布式存储和负载均衡的最小单元。最小单元就表示不同的HRegion可以分布在不同的 HRegion server上。
• HRegion由一个或者多个Store组成，每个store保存一个columns family。
• 每个Strore又由一个memStore和0至多个StoreFile组成。如图：StoreFile以HFile格式保存在HDFS上。

---

服务器时间同步（ntp）

1. 思路：

• 在一台Linux服务器上安装NTP提供时间同步服务；
• 其他Linux应用服务器亦需要安装NTP作为客户机，同步NTP服务器提供的时间。

2. 实施步骤：

• 在所有linux服务器上安装ntp

确认是否已安装ntp：
rpm –qa | grep ntp

若只有ntpdate而未见ntp，则需删除原有ntpdate。如：
yum –y remove ntpdate-4.2.6p5-22.el7.x86_64

安装ntp：
yum –y install ntp

所有节点设置为中国时区
timedatectl set-timezone Asia/Shanghai
在server节点上设置现在的准确时间
timedatectl set-time HH:MM:SS

• 配置ntp服务（192.168.33.101）

vi /etc/ntp.conf

# 集群所在网段的网关（Gateway），子网掩码（Genmask）
restrict 192.168.33.2 mask 255.255.255.0 nomodify notrap

# 在server部分添加一下部分（注意不是127.0.0.1），并注释掉server 0 ~ n
server 127.127.1.0
Fudge 127.127.1.0 stratum 10

• 配置ntp客户机

vi /etc/ntp.conf

# 在server部分添加如下语句，将server指向主节点。并注释掉server 0 ~ n
server 192.168.33.101
Fudge 192.168.33.101 stratum 10

修改/etc/sysconfig/ntpdate，让ntpdate每次同步时间之后把时间写入hwclock，相当于命令hwclock -w：

把最后一行SYNC_HWCLOCK=no修改为：SYNC_HWCLOCK=yes

• 启动各节点，开机自启

service ntpd start
或
systemctl start ntpd

chkconfig ntpd on
或
systemctl enable ntpd

所有节点启动时间同步
timedatectl set-ntp yes

与本地ntpd Server同步一下
ntpdate -u node01

过几分钟客户机就会自动从服务机同步时间了。

HBase部署(完全分布式)

前提：1、Hadoop集群正常运行；2、ZooKeeper集群正常运行。

• 配置regionservers ，主机名

cd /opt/hbase-2.1.2/conf/
vi regionservers

node01
node02
node03

• 配置backup-masters

vi backup-masters

# 添加备用hbase-master
node03

• 配置hbase-env.sh

export JAVA_HOME=/opt/jdk1.8
export HBASE_MANAGES_ZK=false

• 配置hbase-site.xml

<!-- 指定hbase在hdfs上存储的路径 -->
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://mycluster/hbase</value>
</property>
<!-- 指定hbase是分布式的 -->
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<!-- 指定zk的地址，多个用“,”分割 -->
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>node01:2181,node01:2181,node01:2181</value>
</property>

<!-- ZooKeeper的zoo.conf中的配置（dataDir所设定的位置），快照的存储位置 -->
<property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/var/zookeeper</value>
</property>

<!-- ZooKeeper 会话超时。Hbase 把这个值传递给 zk 集群，向它推荐一个会话的最大超时时间 -->
<property>
    <name>zookeeper.session.timeout</name>
    <value>120000</value>
</property>

<!-- 当 regionserver 遇到 ZooKeeper session expired ， regionserver 将选择 restart 而不是 abort -->
<property>
    <name>hbase.regionserver.restart.on.zk.expire</name>
    <value>true</value>
</property>

• 复制hdfs-site.xml到conf目录下

• 在全部节点的环境变量配置文件中加入HBASE_HOME

• 启动Hbase： start-hbase.sh

常见问题

1. 启动时报错如下错误：

ERROR [main] regionserver.HRegionServer: Failed construction RegionServer
java.lang.NoClassDefFoundError: org/apache/htrace/SamplerBuilder

解决方案：cp $HBASE_HOME/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar $HBASE_HOME/lib/

Please check the config value of 'hbase.procedure.store.wal.use.hsync' to set the desired level of robustness and ensure the config value of 'hbase.wal.dir' points to a FileSystem mount that can provide it

解决方案：在hbase-site.xml文件中加入：

<property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
</property>