HBase学习笔记

最新推荐文章于 2023-02-21 19:10:09 发布

等等等等等再等

最新推荐文章于 2023-02-21 19:10:09 发布

阅读量245

点赞数

分类专栏：大数据 linux hadoop 文章标签： hbase

本文链接：https://blog.csdn.net/airch7/article/details/88757327

版权

linux 同时被 3 个专栏收录

9 篇文章 0 订阅

订阅专栏

大数据

3 篇文章 0 订阅

订阅专栏

hadoop

3 篇文章 0 订阅

订阅专栏

HBase简介

Hbase(Hadoop Database)，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库；
利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务；
主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库）。

HBase 数据模型

ROW KEY
- 决定一行数据；
- 按照字典顺序排序的；
- Row key只能存储64k的字节数据。
Column Family列族 & qualifier列
- HBase表中的每个列都归属于某个列族，列族必须作为表模式(schema)定义的一部分预先给出。如 create ‘test’, ‘course’；
- 列名以列族作为前缀，每个“列族”都可以有多个列成员(column)；如course:math, course:english, 新的列族成员（列）可以随后按需、动态加入；
- 权限控制、存储以及调优都是在列族层面进行的；
- HBase把同一列族里面的数据存储在同一目录下，由几个文件保存。
Timestamp时间戳
- 在HBase每个cell存储单元对同一份数据有多个版本，根据唯一的时间戳来区分每个版本之间的差异，不同版本的数据按照时间倒序排序，最新的数据版本排在最前面。
- 时间戳的类型是64位整型。
- 时间戳可以由HBase(在数据写入时自动)赋值，此时时间戳是精确到毫秒的当前系统时间。
- 时间戳也可以由客户显式赋值，如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。
Cell单元格
- 由行和列的坐标交叉决定；
- 单元格是有版本的；
- 单元格的内容是未解析的字节数组；
  - 由{row key， column( = +)， version} 唯一确定的单元。
  - cell中的数据是没有类型的，全部是字节码形式存贮。
HLog(WAL log)
- HLog文件就是一个普通的Hadoop Sequence File，Sequence File 的Key是HLogKey对象，HLogKey中记录了写入数据的归属信息，除了table和region名字外，同时还包括 sequence number和timestamp，timestamp是” 写入时间”，sequence number的起始值为0，或者是最近一次存入文件系统中sequence number。
- HLog SequeceFile的Value是HBase的KeyValue对象，即对应HFile中的KeyValue。

HBase 架构

Client
包含访问HBase的接口并维护cache来加快对HBase的访问。
Zookeeper
- 保证任何时候，集群中只有一个master；
- 存贮所有Region的寻址入口；
- 实时监控Region server的上线和下线信息，并实时通知Master；
- 存储HBase的schema和table元数据。
Master
- 为Region server分配region；
- 负责Region server的负载均衡；
- 发现失效的Region server并重新分配其上的region；
- 管理用户对table的增删改操作。
RegionServer
- 维护region，处理对这些region的IO请求；
- 负责切分在运行过程中变得过大的region。

5.Region

HBase自动把表水平划分成多个区域(region)，每个region会保存一个表里面某段连续的数据；
每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region（裂变）；
当table中的行不断增多，就会有越来越多的region。这样一张完整的表被保存在多个Regionserver 上。

Memstore 与 storefile
- 一个region由多个store组成，一个store对应一个CF（列族）；
- store包括位于内存中的memstore和位于磁盘的storefile写操作先写入memstore，当memstore中的数据达到某个阈值，hregionserver会启动flashcache进程写入storefile，每次写入形成单独的一个storefile；
- 当storefile文件的数量增长到一定阈值后，系统会进行合并（minor、major compaction），在合并过程中会进行版本合并和删除工作（majar），形成更大的storefile；
- 当一个region所有storefile的大小和数量超过一定阈值后，会把当前的region分割为两个，并由hmaster分配到相应的regionserver服务器，实现负载均衡；
- 客户端检索数据，先在memstore找，找不到再找storefile。

HRegion是HBase中分布式存储和负载均衡的最小单元。最小单元就表示不同的HRegion可以分布在不同的 HRegion server上。
HRegion由一个或者多个Store组成，每个store保存一个columns family。
每个Strore又由一个memStore和0至多个StoreFile组成。如图：StoreFile以HFile格式保存在HDFS上。

服务器时间同步（ntp）

思路：

在一台Linux服务器上安装NTP提供时间同步服务；
其他Linux应用服务器亦需要安装NTP作为客户机，同步NTP服务器提供的时间。

实施步骤：

在所有linux服务器上安装ntp

确认是否已安装ntp：
rpm –qa | grep ntp

若只有ntpdate而未见ntp，则需删除原有ntpdate。如：
yum –y remove ntpdate-4.2.6p5-22.el7.x86_64

安装ntp：
yum –y install ntp

所有节点设置为中国时区
timedatectl set-timezone Asia/Shanghai
在server节点上设置现在的准确时间
timedatectl set-time HH:MM:SS

配置ntp服务（192.168.33.101）

vi /etc/ntp.conf

# 集群所在网段的网关（Gateway），子网掩码（Genmask）
restrict 192.168.33.2 mask 255.255.255.0 nomodify notrap

# 在server部分添加一下部分（注意不是127.0.0.1），并注释掉server 0 ~ n
server 127.127.1.0
Fudge 127.127.1.0 stratum 10

配置ntp客户机

vi /etc/ntp.conf

# 在server部分添加如下语句，将server指向主节点。并注释掉server 0 ~ n
server 192.168.33.101
Fudge 192.168.33.101 stratum 10

修改/etc/sysconfig/ntpdate，让ntpdate每次同步时间之后把时间写入hwclock，相当于命令hwclock -w：

把最后一行SYNC_HWCLOCK=no修改为：SYNC_HWCLOCK=yes

启动各节点，开机自启

service ntpd start
或
systemctl start ntpd

chkconfig ntpd on
或
systemctl enable ntpd

所有节点启动时间同步
timedatectl set-ntp yes

与本地ntpd Server同步一下
ntpdate -u node01

过几分钟客户机就会自动从服务机同步时间了。

HBase部署(完全分布式)

前提：1、Hadoop集群正常运行；2、ZooKeeper集群正常运行。

配置regionservers ，主机名

cd /opt/hbase-2.1.2/conf/
vi regionservers

node01
node02
node03

配置backup-masters

vi backup-masters

# 添加备用hbase-master
node03

配置hbase-env.sh

export JAVA_HOME=/opt/jdk1.8
export HBASE_MANAGES_ZK=false

配置hbase-site.xml

<!-- 指定hbase在hdfs上存储的路径 -->
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://mycluster/hbase</value>
</property>
<!-- 指定hbase是分布式的 -->
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<!-- 指定zk的地址，多个用“,”分割 -->
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>node01:2181,node01:2181,node01:2181</value>
</property>

<!-- ZooKeeper的zoo.conf中的配置（dataDir所设定的位置），快照的存储位置 -->
<property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/var/zookeeper</value>
</property>

<!-- ZooKeeper 会话超时。Hbase 把这个值传递给 zk 集群，向它推荐一个会话的最大超时时间 -->
<property>
    <name>zookeeper.session.timeout</name>
    <value>120000</value>
</property>

<!-- 当 regionserver 遇到 ZooKeeper session expired ， regionserver 将选择 restart 而不是 abort -->
<property>
    <name>hbase.regionserver.restart.on.zk.expire</name>
    <value>true</value>
</property>

复制hdfs-site.xml到conf目录下
在全部节点的环境变量配置文件中加入HBASE_HOME
启动Hbase： start-hbase.sh

常见问题

启动时报错如下错误：

ERROR [main] regionserver.HRegionServer: Failed construction RegionServer
java.lang.NoClassDefFoundError: org/apache/htrace/SamplerBuilder

解决方案：cp $HBASE_HOME/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar $HBASE_HOME/lib/

Please check the config value of 'hbase.procedure.store.wal.use.hsync' to set the desired level of robustness and ensure the config value of 'hbase.wal.dir' points to a FileSystem mount that can provide it

解决方案：在hbase-site.xml文件中加入：

<property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
</property>

等等等等等再等

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
HBase学习笔记

HBase简介Hbase(Hadoop Database)，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库；利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务；主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库）。HBase 数据模型ROW K...
复制链接

扫一扫