HBase安装与基本应用

最新推荐文章于 2024-04-23 11:10:12 发布
最新推荐文章于 2024-04-23 11:10:12 发布
阅读量301 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45793065/article/details/106707864
版权

文章目录

HBase简介

HBase一Hadoop Database，是-一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PCServer.上搭建起大规模结构化存储集群。HBase利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。

•HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。

数据模型

1）Name Space 命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。HBase 有两个自带的命名空间，分别是 hbase 和 default，hbase 中存放的是 HBase 内置的表， default 表是用户默认使用的命名空间。

2）Region 类似于关系型数据库的表概念。不同的是，HBase 定义表时只需要声明列族即可，不需 要声明具体的列。这意味着，往 HBase 写入数据时，字段可以动态、按需指定。因此，和关 系型数据库相比，HBase 能够轻松应对字段变更的场景。

3）Row HBase 表中的每行数据都由一个 RowKey 和多个 Column（列）组成，数据是按照 RowKey 的字典顺序存储的，并且查询数据时只能根据 RowKey 进行检索，所以 RowKey 的设计十分重 要。

4）Column HBase 中的每个列都由 Column Family(列族)和 Column Qualifier（列限定符）进行限 定，例如 info：name，info：age。建表时，只需指明列族，而列限定符无需预先定义。

5）Time Stamp 用于标识数据的不同版本（version），每条数据写入时，如果不指定时间戳，系统会 自动为其加上该字段，其值为写入 HBase 的时间。

6）Cell 由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元。cell 中的数 据是没有类型的，全部是字节码形式存贮。

HBase 基本架构

在这里插入图片描述
架构角色：

1）Region Server Region Server 为 Region 的管理者，其实现类为 HRegionServer，主要作用如下: 对于数据的操作：get, put, delete； 对于 Region 的操作：splitRegion、compactRegion。

2）Master Master 是所有 Region Server 的管理者，其实现类为 HMaster，主要作用如下： 对于表的操作：create, delete, alter 对于 RegionServer的操作：分配 regions到每个RegionServer，监控每个 RegionServer 的状态，负载均衡和故障转移。

3）Zookeeper HBase 通过 Zookeeper 来做 Master 的高可用、RegionServer 的监控、元数据的入口以及 集群配置的维护等工作。

对于 HBase 而言，Zookeeper的作用是至关重要的。首先Zookeeper是作为HBase Master的HA解决方案。也就是说，是Zookeeper保证了至少有一个HBase Master 处于运行状态。并且Zookeeper负责Region和Region Server的注册。其实Zookeeper发展到目前为止，已经成为了分布式大数据框架中容错性的标准框架。不光是HBase，几乎所有的分布式大数据相关的开源框架，都依赖于Zookeeper实现HA。

4）HDFS HDFS 为 HBase 提供最终的底层数据存储服务，同时为 HBase 提供高可用的支持。 尚硅谷大数据技术

安装HBase

先安装Zookeeper，hadoop，spark
zookeeper,hadoop安装链接
hadoop安装链接
1、从清华大小镜像站点下载HBbase

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/hbase-2.2.4-bin.tar.gz

2、解压程序包,并改名 放在/usr目录下

tar xzvf hbase-2.2.4-bin.tar.gz 
mv  hbase-2.2.4 hbase
mv  hbase /usr

3、配置环境变量,在/etc/proflie中将hbase下的bin目录添加到path中

vi /etc/profile
添加：
export HBASE_CLASSPATH=/usr/hbase/conf
export PATH=$PATH:/usr/hbase/bin
重启：
source /ect/profile

在这里插入图片描述
4、查看Hbase的版本

hbase version

在这里插入图片描述

配置HBase数据存储于hadoop

1.在hbase-env.sh配置JAVA_HOME和HADOOP_HOME环境变量

cd /usr/hbase/conf
vi hbase-env.sh
添加：
export JAVA_HOME=/usr/java/jdk
export HADOOP_HOME=/usr/hadoop
按esc :x 保存退出

在这里插入图片描述

2、配置hbase-site.xml文件

vi hbase-site.xml 
添加：
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://192.168.100.101:8020/hbase/hbase_db</value>
</property>
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>master,slave1,slave2</value>
</property>
<property>
 <name>hbase.zookeeper.property.dataDir</name>
 <value>/usr/hbase/zookeeper</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value>16610</value>
</property>
<property>
     <name>zookeeper.znode.parent</name>
     <value>/hbase/master</value>
 </property>

在这里插入图片描述

3、配置regionservers

 vi regionservers
 添加：
 master
slave1
slave2

在这里插入图片描述

4、拷贝Hbase和/etc/profile到slave1和 slave2

scp -r /usr/hbase/ slave1:/usr
scp -r /usr/hbase/ slave2:/usr
scp -r /etc/profile slave1:/etc/profile
scp -r /etc/profile slave2:/etc/profile

5、开启hadoop,spark

 cd /usr/hadoop
 ./sbin/start-all.sh
 cd /usr/spark/spark-2.4.5-bin-hadoop2.6/
 ./sbin/start-all.sh

在这里插入图片描述
在这里插入图片描述

6、启动HBase集群

./bin/start-hbase.sh

在这里插入图片描述

7、打开master:16610查看启动的情况
在这里插入图片描述

8、启动HBase客户端

bin/hbase shell

在这里插入图片描述

如果输入list 久久没有反应卡住就证明有问题

HBase Shell 操作
名称命令表示式
创建表create ‘表名称’, ‘列族名称1’,‘列族名称2’,‘列族名称N’
添加记录put ‘表名称’, ‘行名称’, ‘列名称:’, ‘值’
查看记录get ‘表名称’, ‘行名称’
查看表中的记录总数count ‘表名称’
删除记录delete ‘表名’ ,‘行名称’ , ‘列名称’
删除一张表先要屏蔽该表，才能对该表进行删除，第一步 disable ‘表名称’ 第二步 drop ‘表名称’
查看所有记录scan “表名称”
查看某个表某个列中所有数据scan “表名称” , {COLUMNS=>‘列族名称:列名称’}
更新记录就是重写一遍进行覆盖，跟添加记录一样
1、基本操作

1）进入HBase客户端

cd /usr/hbase
bin/hbase shell

在这里插入图片描述

2）查看帮助命令

hbase(main):001:0> help

3）查看当前数据库表

hbase(main):002:0> list
2、表操作

1）创建表

hbase(main):008:0> create 'student','info'

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xPrStVKD-1591921512982)(F:\csdn\hbase1.assets\image-20200610152944725.png)]

2)插入数据到表

put ’<table name>’,’row1’,’<colfamily:colname>’,’<value>’

hbase(main):010:0>  put 'student','1001','info:sex','male'               hbase(main):011:0> put 'student','1001','info:age','18'    
hbase(main):012:0> put 'student','1002','info:name','Janna'
hbase(main):013:0>  put 'student','1002','info:sex','female'              hbase(main):014:0>  put 'student','1002','info:age','20'

在这里插入图片描述

3）扫描查看表数据

全部查看

hbase(main):015:0> scan 'student'

在这里插入图片描述

查看以1001开始，以1001结束

hbase(main):016:0> scan 'student',{STARTROW=>'1001',STOPROW=>'1001'}

在这里插入图片描述
查看以1002开始

hbase(main):018:0>  scan 'student',{STARTROW => '1002'}

在这里插入图片描述
4）查看表结构

hbase(main):021:0> describe 'student'

在这里插入图片描述

5）更新指定字段的数据

put ‘table name’,’row ’,'Column family:column name',’new value’

hbase(main):023:0>  put 'student','1001','info:name','Nick'                                                      
hbase(main):024:0>  put 'student','1001','info:age','100'

在这里插入图片描述

6）获取“指定行”或“指定列族:列”的数据

get ’<table name>’,’row1’
get 'table name', ‘rowid’, {COLUMN => ‘column family:column name ’}

hbase(main):026:0> get 'student','1001'
hbase(main):027:0> get 'student','1001','info:name'

在这里插入图片描述

7）统计表数据行数

hbase(main):028:0> count 'student'

在这里插入图片描述
8）删除数据

删除某 rowkey 的全部数据：

 hbase(main):032:0> deleteall 'student','1001'

在这里插入图片描述

删除某 rowkey 的某一列数据：

hbase(main):002:0> delete 'student','1002','info:sex'

在这里插入图片描述

9）清空表数据

hbase(main):005:0> truncate 'student'

提示：清空表的操作顺序为先 disable，然后再 truncate。
在这里插入图片描述

10）删除表

首先需要先让该表为 disable 状态：

hbase(main):008:0> disable 'student'

然后才能 drop 这个表：

hbase(main):009:0> drop 'student'

提示：如果直接 drop 表，会报错：ERROR: Table student is enabled. Disable it first.
在这里插入图片描述

11)查看，变更表信息 将 info 列族中的数据存放 3 个版本：

hbase(main):017:0> describe 'student'
hbase(main):018:0> alter 'student',{NAME=>'info',VERSIONS=>3}
hbase(main):022:0> get 'student','1001'{COLUMN=>'info:name',VERSIONS=>3}

VERSIONS => 3是指此单元格内的数据可以保留最近的 3 个版本

在这里插入图片描述在这里插入图片描述

在这里插入图片描述

San**
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hbase安装教程详解
zp17834994071的博客
06-24 2万+
Hbase详解 HBase是一个开源的非关系型分布式数据库，实现的编程语言为Java。它是的Hadoop项目的一部分，运行于HDFS文件系统之上，为 Hadoop 提供类似于BigTable 规模的服务。因此，它可以容错地存储海量稀疏的数据。 Hbase应用 HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素
Hbase基础(一)——安装与使用
weixin_63507910的博客
04-04 4177
Hbase是一个分布式的、面向列的开源数据库，有区别于传统的行式数据库(如Mysql等)，与Hive数据仓库相比，更适合实时存储数据场景，但是与传统的列式数据库相比，更适合键值对的数据存取或者有序的数据存取。Hbase的版本有很多，读者在下载Hbase的压缩包之前，先去Hbase官网查看不同版本的hadoop对哪些版本的Hbase支持。本系列文章是基于hadoop集群搭建后的入门学习，关于hadoop集群搭建，请自行查看笔者发布的hadoop系列文章。
hbase安装教程
最新发布
weixin_71512510的博客
04-23 915
通过本实验，我们学习了HBase的安装配置过程，并成功在Linux环境下安装了HBase。在实验过程中，需要注意选择与Hadoop版本兼容的HBase版本，并正确配置环境变量。3. 完成实验后，可以尝试进行HBase的基本操作和使用，以加深对HBase的理解和应用能力。1. 在实验前，建议提前了解HBase的基本概念和特点，以便更好地理解和掌握实验内容。本实验旨在学习和掌握HBase的安装配置过程，为后续HBase的使用和实验打下基础。2. 在文件末尾添加HBase安装路径的配置信息，例如：`
第1关：Hbase数据库的安装
qq_61604164的博客
11-28 1万+
HBase的安装与简单操作 第1关：Hbase数据库的安装
HBase的安装和配置
weixin_51568626的博客
08-25 4951
HBase的安装和配置
hadoop学习笔记之-hbase完全分布模式安装
数据库天地
12-27 628
安装环境： OS: Oracle linux 5.6 JDK: jdk1.6.0_18 Hadoop: hadoop-0.20.2 Hbase: hbase-0.90.5 安装准备： 1. Jdk环境已安装：版本为1.6以上 2. hadoop环境已安装：完全分布模式安装如下 http://blog.csdn.net/lichangzai/article/details...
Hbase 安装与基本使用
08-07
**四、HBase基本操作** 1. **创建表**：使用HBase shell或Java API，通过`create '表名', '列族'`命令创建表，例如`create 'users', 'info'`创建名为users的表，列族为info。 2. **插入数据**：插入数据通过`put '...
大数据技术基础实验报告-HBase安装配置和应用实践.doc
08-21
这篇实验报告主要涵盖了HBase的安装、配置以及基本应用，这是大数据技术中一个重要的组件，它是一个分布式的、面向列的数据库，尤其适合处理大规模的数据。 1. **HBase安装** - 首先，通过`sudo tar -zxf ~/下载/...
Hbase的安装过程及基本操作
10-11
以上就是Hbase在Linux环境下的安装与基本操作流程。在实际应用中，还需要根据具体需求进一步配置Hbase，如设置Zookeeper地址、优化性能参数等。同时，理解Hbase的核心概念，如Region、RegionServer、WAL和HFile，...
HBase应用场景原理与基本架构共40页.pdf.zip
11-21
这份"40页的HBase应用场景原理与基本架构"文档，很可能是对HBase的深度解析，包括其核心概念、工作原理、实际应用案例以及如何构建和扩展HBase集群。 首先，HBase的基本架构由Region Server、Master Server、...
HBase的安装（单机版）
皮埃尔的博客
04-29 4347
HBase的安装（单机版）
HBase几种安装方式
若兰幽竹
05-19 2107
HBase几种安装方式一、前提说明二、具体安装步骤 一、前提说明 Hadoop已经完成安装（如伪分布式、全分布式等） zookeeper已经完成安装（全分布式和HA模式需要） 环境对应关系如下： hbase环境 对应hadoop环境 对应外部zookeeper环境 本地模式 不需要 不需要 伪分布式 伪分布式 单机安装（也可用hbase内置zookeeper） 全分布式 全分布式 集群模式（也可用hbase内置zookeeper） HA模式 HA模式 集群模式（也可
大数据从入门到实战 - HBase的安装与简单操作
热门推荐
小啊呜的博客
01-13 2万+
大数据从入门到实战 - HBase的安装与简单操作 一、关于此次实践 1、实战简介 2、全部任务 二、实践详解 1、第1关：Hbase数据库的安装 2、第2关：创建表 3、第3关：添加数据、删除数据、删除表 ) 叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！
hbase的高级特性---多版本
枣泥馅的博客
04-19 1607
hbase的高级特性—多版本、快照、批量加载、用户和权限管理、备份与恢复、HBase主从复制 1、多版本 hbase的多版本是利用hbase针对某个列族控制最多可以放入的数据个数，我们只需修改表中的versions值就可以，如果versions值是1，那么我们只可以在这个cell单元中存放一个值，如果versions的值是2，那么我们可以往cell最多存放2个值。接下来我们测试一下 (1)先创建一...
HBase介绍、安装及简单操作
weixin_45519683的博客
09-11 1225
HBase介绍、安装及简单操作 第1章 HBase简介 1.1HBase定义 HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。 1.2HBase数据模型 逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个multi-dimensional map。 1.2.1 HBase逻辑结构 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rqlQuauw-159982
HBase安装配置
lixujie2527的博客
05-19 152
一：HBase安装配置 1：下载压缩包hbase-1.4.9-bin.tar.gz 2：将压缩包从Windows传输到Linux当前目录下→put c: /hbase-1.4.9-bin.tar.gz 3:安装，解压安装到指定目录下/root/opt/module→tar -zxvf /hbase-1.4.9-bin.tar.gz -C /root/opt/module 4:配置环境变量...
HBase安装及读写
刘洋_heaven的博客
01-07 358
摘要 本文介绍HBase在CentOS下的安装部署，以及基于Scala语言在Spark上读写HBase的简单实例。 1.HBase简介 Hbase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。Hbase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。 那么关系型数据库...
HBase环境配置之路
u013782879的博客
12-08 312
1. 在官网下载了 hbase-2.1.1 文件包，解压在  、usr/local/src目录下 2.在配置hbase-env.sh  export JAVA_HOME=/usr/local/src/jdk1.8.0_191 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib export HBASE_MANAGES_ZK=true 3.配置hbase...
HBase安装与应用
weixin_30633949的博客
05-24 98
1. 参考说明 参考文档： https://hbase.apache.org/book.html 2. 安装环境说明 2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境 主机名 NameNode SecondaryNameNode DataNodes centoshadoop...
HBase分布式数据库安装与优化指南
HBase的数据操作主要包括插入、删除和查询，其API提供了对这些基本操作的支持。数据导入可以通过多种工具，如HBaseBulkLoad或者Hadoop MapReduce实现，这些工具可以高效地批量加载大量数据。 4. **HBase服务安装**...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值