一文彻底搞懂HBase

最新推荐文章于 2024-07-28 23:55:21 发布
最新推荐文章于 2024-07-28 23:55:21 发布
阅读量3.3k 收藏 7
点赞数 1
文章标签： 数据库 大数据 java mysql hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013510614/article/details/121303651
版权

本文是基于CentOS 7.9系统环境，进行HBase的学习和使用

一、HBase的简介

1.1 HBase基本概念

HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库，可以解决HDFS随机写的问题

1.2 HBase数据模型

逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个multi-dimensional map

  • Name Space

    命名空间，类似于关系型数据库的DatabBase概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是hbase和default，hbase中存放的是HBase内置的表，default表是用户默认使用的命名空间。

  • Region

    类似于关系型数据库的表概念。不同的是，HBase定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往HBase写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase能够轻松应对字段变更的场景。

  • Row

    HBase表中的每行数据都由一个RowKey和多个Column（列）组成，数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以RowKey的设计十分重要。

  • Column

    HBase中的每个列都由Column Family(列族)和Column Qualifier（列限定符）进行限定，例如info：name，info：age。建表时，只需指明列族
    ，而列限定符无需预先定义。

  • Time Stamp

    用于标识数据的不同版本（version），每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为写入HBase的时间。

  • Cell

    由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存储

1.3 HBase逻辑结构

这种逻辑结构，采用避免全表扫描的分区策略

在这里插入图片描述
1.4 HBase物理存储结构

HBase依赖时间戳进行数据的管理，因此时间戳对于HBase十分重要，一定要确保不同系统之间的时间一致，否则在操作HBase时会出现各种异常错误
在这里插入图片描述

1.5 HBase基础架构

  • Region Server

    Region Server为 Region的管理者，其实现类为HRegionServer，主要作用如下:
    对于数据的操作：get, put, delete
    对于Region的操作：splitRegion、compactRegion

  • Master

    Master是所有Region Server的管理者，其实现类为HMaster，主要作用如下：
    对于表的操作：create，delete，alter，select
    对于RegionServer的操作：分配regions到每个RegionServer，监控每个RegionServer的状态，负载均衡和故障转移

  • Zookeeper

    HBase通过Zookeeper来做Master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作

  • HDFS

    HDFS为HBase提供最终的底层数据存储服务，同时为HBase提供高可用的支持

二、HBase的伪分布式安装

2.1 HBase依赖环境

(1) Hadoop启动

sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

2.2 HBase安装

(1) HBase解压

tar -xzvf hbase-1.3.1-bin.tar.gz -C /opt/module

(2) 配置regionservers

vi /opt/module/hbase/conf/regionservers
# 添加内容如下
192.168.0.109

(3) 配置hbase-env.sh

vi /opt/module/hbase/conf/hbase-env.sh
# 修改内容如下
export JAVA_HOME=/opt/module/jdk1.8.0_201

# 注释内容
# export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
# export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

# 修改内容如下
export HBASE_MANAGES_ZK=true

(4) 配置hbase-site.xml

首先创建一个zkData目录

mkdir -p /opt/module/hbase/data/zkData

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://192.168.0.109:9000/HBase</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <!-- 0.98后的新变动，之前版本没有.port,默认端口为60000 -->
        <property>
                <name>hbase.master.port</name>
                <value>16000</value>
        </property>
        <property>  
                <name>hbase.zookeeper.property.dataDir</name>
                 <value>/opt/module/hbase/data/zkData</value>
        </property>
</configuration>

(5) 配置hadoop的软连接到hbase

ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml /opt/module/hbase/conf/core-site.xml
ln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml /opt/module/hbase/conf/hdfs-site.xml

2.3 HBase启动

(1) HBase启动zookeeper

cd /opt/module/hbase/
bin/hbase-daemon.sh start zookeeper

(2) HBase启动master

cd /opt/module/hbase/
bin/hbase-daemon.sh start master

(3) HBase启动regionserver

cd /opt/module/hbase/
bin/hbase-daemon.sh start regionserver

(4) HBase停止regionserver

cd /opt/module/hbase/
bin/hbase-daemon.sh stop regionserver

(5) HBase停止master

cd /opt/module/hbase/
bin/hbase-daemon.sh stop master

(6) HBase停止zookeeper

cd /opt/module/hbase/
bin/hbase-daemon.sh stop zookeeper

(7) HBase集群启动

cd /opt/module/hbase/
bin/start-hbase.sh

(8) HBase集群停止

cd /opt/module/hbase/
bin/stop-hbase.sh

三、HBase的完全分布式安装

3.1 HBase依赖环境

(1) zookeeper启动

#启动所有zookeeper集群节点
cd /opt/module/zookeeper-3.4.10
bin/zkServer.sh start

(2) Hadoop启动

sbin/start-dfs.sh
sbin/start-yarn.sh

3.2 HBase安装

(1) HBase解压

tar -xzvf hbase-1.3.1-bin.tar.gz -C /opt/module

(2) 配置regionservers

vi /opt/module/hbase/conf/regionservers
# 添加内容如下
hadoop101
hadoop102
hadoop103

(3) 配置hbase-env.sh

vi /opt/module/hbase/conf/hbase-env.sh
# 修改内容如下
export JAVA_HOME=/opt/module/jdk1.8.0_201

# 注释内容
# export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
# export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

# 修改内容如下
export HBASE_MANAGES_ZK=false

(4) 配置hbase-site.xml

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://hadoop101:9000/HBase</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <!-- 0.98后的新变动，之前版本没有.port,默认端口为60000 -->
        <property>
                <name>hbase.master.port</name>
                <value>16000</value>
        </property>
        <property>   
                <name>hbase.zookeeper.quorum</name>
                 <value>hadoop101,hadoop102,hadoop103</value>
        </property>
        <property>  
                <name>hbase.zookeeper.property.dataDir</name>
                 <value>/opt/module/zookeeper-3.4.10/zkData</value>
        </property>
</configuration>

(5) 配置hadoop的软连接到hbase

ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml /opt/module/hbase/conf/core-site.xml
ln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml /opt/module/hbase/conf/hdfs-site.xml

(6) 配置集群时间同步

安装ntp

yum -y install net-tools
yum -y install ntp

修改配置文件/etc/ntp.conf

vi /etc/ntp.conf
# 限制 192.168.1.0~192.168.255.255之间的服务器可以访问
restrict 192.168.1.0 mask 255.255.0.0 nomodify notrap

# 注释以下内容，因为集群在局域网中，所以不属于互联网其他时间
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

#添加以下信息，当失去互联网连接后，使用本机时间做同步
server 127.127.1.0
fudge 127.127.1.0 stratum 10

修改配置文件/etc/sysconfig/ntpd

vi /etc/sysconfig/ntpd
#添加以下信息，硬件时间与系统时间同步
SYNC_HWCLOCK=yes

hadoop101节点上启动ntp

systemctl stop chronyd
systemctl disable chronyd
systemctl start ntpd
systemctl enable ntpd

其他节点上启动ntp

crontab -e
# 编写定时任务如下：
*/10 * * * * /usr/sbin/ntpdate hadoop101

3.3 HBase启动

(1) HBase启动master

cd /opt/module/hbase/
bin/hbase-daemon.sh start master

(2) HBase启动regionserver

cd /opt/module/hbase/
bin/hbase-daemon.sh start regionserver

(3) HBase停止regionserver

cd /opt/module/hbase/
bin/hbase-daemon.sh stop regionserver

(4) HBase停止master

cd /opt/module/hbase/
bin/hbase-daemon.sh stop master

(5) HBase集群启动

cd /opt/module/hbase/
bin/start-hbase.sh

(6) HBase集群停止

cd /opt/module/hbase/
bin/stop-hbase.sh
刘元涛
关注
【图文详解】一文全面彻底搞懂HBase、LevelDB、RocksDB等NoSQL背后的存储原理：LSM-tree日志结构合并树...
程序员光剑
11-22 8512
LSM 树广泛用于数据存储，例如 RocksDB、Apache AsterixDB、Bigtable、HBase、LevelDB、Apache Accumulo、SQLite4、Tarantool、WiredTiger、Apache Cassandra、InfluxDB和ScyllaDB等。在这篇文章中，我们将深入探讨 Log Structured Merge Tree ，又名 LSM 树：许多高...
2023，程序员的出路在哪里？
热门推荐
程序员光剑
02-05 20万+
可是似乎从30岁开始这工资就没涨过，前面跳槽几次涨的薪水在30岁以后跳槽已经不管用了、定格了，这几年由于市场环境不景气，程序员竞争越来越激烈，36岁跟30拿的工资一模一样，不仅工资拿的一样，反而事情还越来越多了，这些都意味着什么？处理故障需要的通常不仅仅是写代码的能力，还需要对一个系统的全貌要有一定的掌握。虽然目前不少大型互联网企业都在进行结构性调整，但是从互联网行业发展的基本面来看，未来在产业互联网发展的过程中，IT行业和传统行业将会释放出大量的就业岗位，所以未来程序员的发展空间还是非常值得期待的。
HBase使用教程
u014419512的专栏
06-01 9322
1     基本介绍 1.1 前言 HBase – Hadoop Database，是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。
看图理解HBase
carlosfu的专栏
05-07 2009
一、HBase生态系统二、HBase架构图三、HBase和Hadoop版本矩阵
Hbase简介和快速入门
最新发布
m0_37689903的博客
07-28 1247
本文首先简单介绍了Hbase的定义，逻辑结构，物理存储结构；然后详细的介绍了Hbase的安装；最后简单介绍了Hbase的shell命令操作
HBase 一文读懂
zhouzhiwengang的专栏
02-26 848
HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。HBase数据模型HBase的数据模型同关系型数据库（RDMS）很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个multi-dimensional map(多维度Map)。
（一）一文读懂Hbase
weixin_43930865的博客
08-17 1021
1：hbase简介 hbase官网 1.1：hbase简介 HBase 是 BigTable 的开源（源码使用 Java 编写）版本。是 Apache Hadoop 的数据库，是建 立在 HDFS 之上，被设计用来提供高可靠性、高性能、列存储、可伸缩、多版本的 NoSQL 的分布式数据存储系统，实现对大型数据的实时、随机的读写访问。 1：hbase的组件依赖 HBase 依赖于 HDFS 做底层的数据存储 HBase 依赖于 MapReduce 做数据计算 HBase 依赖于 ZooKeeper 做服务协调
HBase 深入浅出
xuanjiewu的专栏
11-21 668
《HBase 深入浅出》
深入浅出HBase
cblock1的博客
08-07 808
HBase是一个开源的NoSQL分布式数据库，对稀疏表提供更高的存储空间使用率和读写效率
Hbase 深入浅出
Usher_Ou的博客
02-19 624
Hbase 深入浅出 概述 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoo...
【HBase入门与实战】一文搞懂HBase!_hbase入门与实践
2401_84181125的博客
04-08 1752
定义是一个面向列存储的NoSQL数据库是一个分布式HashMap，底层数据是Key-Value格式使用HDFS作为存储并利用其可靠性什么是【分布式HashMap】？HashMap的本质是用一个简单的值形式映射一个复杂的值形式。HBase通过一个RowKey提取该RowKey下多个列族下多个列的多个值。特点数据访问速度快，响应时间约2~20ms。实时数仓和离线数仓都会用到HBase：实时数仓响应速度快离线数仓宽表列存储。
【HBase入门与实战】一文搞懂HBase!_hbase入门与实践，2024年最新如何成为杰出的程序员
2401_84166878的博客
04-13 1097
定义是一个面向列存储的NoSQL数据库是一个分布式HashMap，底层数据是Key-Value格式使用HDFS作为存储并利用其可靠性什么是【分布式HashMap】？HashMap的本质是用一个简单的值形式映射一个复杂的值形式。HBase通过一个RowKey提取该RowKey下多个列族下多个列的多个值。特点数据访问速度快，响应时间约2~20ms。实时数仓和离线数仓都会用到HBase：实时数仓响应速度快离线数仓宽表列存储。
【架构师必知必会系列】系统架构设计需要知道的5大精要（5 System Design fundamentals）...
程序员光剑
11-27 1万+
无论是在大厂还是初创公司，技术产品经理 (TPM)都需要具备系统设计的基础知识。从历史上看，系统设计基础知识通常是软件工程师在面试时的要求，而 TPM 不受此期望的约束。然而，现在趋势正在发生变化。作为 TPM，您需要在面试和领导产品团队的工作中，对系统设计有深入的了解。Technical product managers (TPMs) atbig techcompanies and star...
一文弄懂Hbase基本架构
Haiwi-Song
02-02 427
文章目录1、存储模型2、架构模型图3、ROOT表和META表4、Region拆分原理5、HBase在HDFS中存储6、读写操作流程写操作流程读操作流程7、Hbase的容错性 1、存储模型 table中的所有行都按照row key的字典序排列。 table在行的方向上分割为多个HRegion，每个HRegion分散在不同的RegionServer中。 每个HRegion由多个Store构成（每个...
Hbase个人理解
xiejianweifdd的博客
11-07 329
HbaseHbase个人理解hbase表模型的要点：HBASE表的物理存储结构MASTER职责REGION SERVER职责Zookeeper集群所起作用HBASE读写数据流程hbase:meta表REGION SERVER内部机制 Hbase个人理解 HBASE是一个数据库----可以提供数据的实时随机读写 HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同，它是一个NoSQL数据库（非关系型数据库） Hbase的表模型与关系型数据库的表模型不同： Hbase的表没有固
HBase学习之路(四):理解HBase的基本架构
萧邦主的城邦
05-05 790
内容简介一、HBase表结构剖析1. 行健2. 列族3. 列4. 单元格5. 时间戳二、HBase表数据模型三、HBase核心架构1. HMaster2. HRegionServer3. ZooKeeper四、HBase读写流程1. 读流程2. 写流程五、总结 一、HBase表结构剖析 HBase是面向列的非关系型数据库，可以简单地总结，列是HBase最基本的单位，一行由多列组成。具体组成结构如下...
HBase-概述
weixin_30596735的博客
10-06 702
一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 逻辑上，HBase 的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从 HBase 的底层物理存储结构（K-V）来看，HBase 更像是一个 multi-dimensional map。 一、HBase 逻辑结构 二、HBase 物理存储结构 三、数据模型 1）Name Space ...
Hbase
ho_ll_ow的博客
10-14 348
Hbase(Hadoop database:Hbase)概念： 是一个基于Hadoop的分布式，高可靠、高性能、面向列(含义：一个列簇对应一个文件：HFile)，可伸缩的数据库。 Hbase不同于一般的关系数据库，他是一个适合于**非结构化或者半结构化数据存储(每天记录数据字段都不确定)**的数据库。另一个不同的是Hbase基于列的而不是基于行的模式。 特点： 1.基于Hadoop HDFS进行分...
linux上如何彻底删除hbase和zookeeper
05-25
要彻底删除HBase和Zookeeper，可以按以下步骤进行： 1. 停止HBase和Zookeeper服务： ``` $ stop-hbase.sh $ zkServer.sh stop ``` 2. 删除HBase和Zookeeper的安装目录： ``` $ rm -rf /usr/local/hbase $ rm -rf...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

刘元涛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值