HBase集群环境搭建及概念介绍

最新推荐文章于 2023-08-28 20:22:53 发布

大城哥

最新推荐文章于 2023-08-28 20:22:53 发布

阅读量769

点赞数

分类专栏： Hadoop 文章标签： hbase hadoop 集群

本文链接：https://blog.csdn.net/hanjin7278/article/details/53032161

版权

Hadoop 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

一、前言

HBase是一个构建在HDFS上的分布式列存储系统，HBase是基于Google BigTable模型开发的，典型的key/value系统；
HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；
从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。
Hbase表的特点
大：一个表可以有数十亿行，上百万列；
无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列；
面向列：面向列（族）的存储和权限控制，列（族）独立检索；
稀疏：空（null）列并不占用存储空间，表可以设计的非常稀疏；
数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳；
数据类型单一：Hbase中的数据都是字符串，没有类型

二、概念

RowKey：是Byte array，是表中每条记录的“主键”，方便快速查找，Rowkey的设计非常重要。
Column Family：列族，拥有一个名称(string)，包含一个或者多个相关列
Column：属于某一个columnfamily，familyName:columnName，每条记录可动态添加
Version Number：类型为Long，默认值是系统时间戳，可由用户自定义
Value(Cell)：Byte array，更详细的可以参考参考

三、安装配置

1、JDK环境配置
2、Zookeeper集群配置参考
3、Hadoop集群配置参考
4、上述都已经配置完成开始HBase集群环境搭建
本次使用HBase版本：hbase-1.2.3-bin.tar.gz
在hadoop01上下载hbase发行版本统一配置

wget http://apache.fayea.com/hbase/stable/hbase-1.2.3-bin.tar.gz

下载完成后解压文件：tar -zxvf hbase-1.2.3-bin.tar.gz
这里写图片描述
注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下

1、修改hbase-env.sh
这里写图片描述

2、修改hbase-site.xml文件

<configuration>
    <property>
            <name>hbase.master</name>
            <value>hadoop01:60000</value>
    </property>
    <property>
            <name>hbase.master.maxclockskew</name>
            <value>180000</value>
    </property>
    <!-- 指定hbase在HDFS上存储的路径 -->
    <property>
            <name>hbase.rootdir</name>
            <value>hdfs://ns1/hbase</value>
    </property>
    <!-- 指定hbase是分布式的 -->
    <property>
            <name>hbase.cluster.distributed</name>
            <value>true</value>
    </property>
    <!-- 指定zk的地址，多个用“,”分割 -->
    <property>
            <name>hbase.zookeeper.quorum</name>
            <value>zk01:2181,zk02:2181,zk03:2181</value>
    </property>
    <property>
            <name>hbase.zookeeper.property.dataDir</name>
            <value>/home/hadoop/hbase/tmp/zookeeper</value>
    </property>
</configuration>

3、修改regionservers 配置子节点

hadoop03
zk01
zk02
zk03

4、拷贝hbase到其他节点

scp -r hbase-1.2.3 hadoop02:/opt/soft/
scp -r hbase-1.2.3 hadoop03:/opt/soft/
scp -r hbase-1.2.3 zk01:/opt/soft/
scp -r hbase-1.2.3 zk02:/opt/soft/
scp -r hbase-1.2.3 zk03:/opt/soft/