HBase（一） 2021SC@SDUSC

HBase（一） 2021SC@SDUSC

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

2021SC@SDUSC

综述：

本文对分工做了简单的描述，对项目做了介绍,以及对项目的安装与部署做了介绍。

一、项目分工

项目成员共五人，三人完成HBase的读写流程，两人完成写region，后期根据进度动态调整。
我负责完成region方面。

二、HBase是什么？

1.HBase简介

HBase是Apache的Hadoop项目的子项目，是Hadoop Database的简称。

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，HBase基于列的而不是基于行的模式。

2.HBase架构

下图是HBase的组成结构图：

通过上图我们可以得出Hbase中的每张表都按照一定的范围被分割成多个子表（HRegion），默认一个HRegion超过 256M 就要被分割成两个，由 HRegionServer管理，管理哪些HRegion由HMaster分配。

3.HBase处理数据

虽然Hadoop是一个高容错、高延时的分布式文件系统和高并发的批处理系统，但是它不适用于提供实时计算；HBase是可以提供实时计算的分布式数据库，数据被保存在HDFS分布式文件系统上，由HDFS保证期高容错性，但是再生产环境中，HBase是如何基于hadoop提供实时性呢？ HBase上的数据是以StoreFile(HFile)二进制流的形式存储在HDFS上block块儿中；但是HDFS并不知道的HBase用于存储什么，它只把存储文件认为是二进制文件，也就是说，HBase的存储数据对于HDFS文件系统是透明的。

4.HBase数据模型

HBase通过表格的模式存储数据，每个表格由列和行组成，其中，每个列又被划分为若干个列族（row family），请参考下面的图：

5.HBase应用

HBase是用来当有需要写重的应用程序。
HBase可以帮助快速随机访问数据。
HBase被许多公司所采纳，例如，Facebook、Twitter、Yahoo!、Adobe、OpenPlaces、WorldLingo等等。

三、Ubuntu下HBase的安装与使用

运行环境是在Ubuntu-64位系统下，HBase版本为hbase-1.1.2，带有src的文件是未编译的版本，这里我们只要下载bin版本hbase-1.1.2-bin.tar.gz就好了。

安装并配置HBase

1.HBase安装

1.1 解压安装包hbase-1.1.2-bin.tar.gz至路径 /usr/local，命令如下：

sudo tar -zxf ~/下载/hbase-1.1.2-bin.tar.gz -C /usr/local

1.2 将解压的文件名hbase-1.1.2改为hbase，以方便使用，命令如下：

sudo mv /usr/local/hbase-1.1.2 /usr/local/hbase

1.3 配置环境变量
将hbase下的bin目录添加到path中，这样，启动hbase就无需到/usr/local/hbase目录下，大大的方便了hbase的使用。教程下面的部分还是切换到了/usr/local/hbase目录操作，有助于初学者理解运行过程，熟练之后可以不必切换。
编辑~/.bashrc文件

vi ~/.bashrc

如果没有引入过PATH请在~/.bashrc文件尾行添加如下内容：

`export PATH=$PATH:/usr/local/hbase/binc

如果已经引入过PATH请在export PATH这行追加/usr/local/hbase/bin，这里的“：”是分隔符。如下图：

编辑完成后，再执行source命令使上述配置在当前终端立即生效，命令如下：

source ~/.bashrc

1.4 添加HBase权限

cd /usr/local
sudo chown -R hadoop ./hbase       

#将hbase下的所有文件的所有者改为hadoop，hadoop是当前用户的用户名。

1.5 查看HBase版本，确定hbase安装成功,命令如下：

/usr/local/hbase/bin/hbase version

命令执行后，输出信息截图如下：

表示HBase已经安装成功，接下来将进行HBase伪分布式模式的配置。

2.伪分布式模式配置

1.配置/usr/local/hbase/conf/hbase-env.sh。命令如下：

sudo vi /usr/local/hbase/conf/hbase-env.sh

配置JAVA_HOME，HBASE_CLASSPATH，HBASE_MANAGES_ZK.
HBASE_CLASSPATH设置为本机Hadoop安装目录下的conf目录（即/usr/local/hadoop/conf）

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HBASE_CLASSPATH=/usr/local/hadoop/conf 
export HBASE_MANAGES_ZK=true

截图如下：

2.配置/usr/local/hbase/conf/hbase-site.xml
用命令vi打开并编辑hbase-site.xml，命令如下：

sudo vi /usr/local/hbase/conf/hbase-site.xml

修改hbase.rootdir，指定HBase数据在HDFS上的存储路径；将属性hbase.cluter.distributed设置为true。假设当前Hadoop集群运行在伪分布式模式下，在本机上运行，且NameNode运行在9000端口。

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
</configuration>

hbase.rootdir指定HBase的存储目录；hbase.cluster.distributed设置集群处于分布式模式.
截图如下：

3. 接下来测试运行HBase。
第一步：首先登陆ssh，之前设置了无密码登陆，因此这里不需要密码；再切换目录至/usr/local/hadoop ；再启动hadoop，如果已经启动hadoop请跳过此步骤。命令如下：

ssh localhost
cd /usr/local/hadoop
./sbin/start-dfs.sh

输入命令jps，能看到NameNode,DataNode和SecondaryNameNode都已经成功启动，表示hadoop启动成功，截图如下：

第二步：切换目录至/usr/local/hbase;再启动HBase.命令如下：

cd /usr/local/hbase
bin/start-hbase.sh

启动成功，输入命令jps，看到以下界面说明hbase启动成功

进入shell界面：

bin/hbase shell

4.停止HBase运行,命令如下：

bin/stop-hbase.sh

至此，已完成HBase的安装与配置。

四.项目源码下载

在HBase官网上或者通过GitHub上将源码下载下来，在虚拟机上部署测试有关功能，然后在项目启动的shell入口相关源码，导入到idea中，采用debug方式进行源码的分析学习。

后续项目的详细介绍会在以后的文章中逐渐深入。