HBase入门学习---安装与使用

最新推荐文章于 2024-06-02 11:23:52 发布
最新推荐文章于 2024-06-02 11:23:52 发布
阅读量329 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hou_ge/article/details/107846631
版权
1、前言

  HBase属于列式非关系型数据库（NoSQL），最早起源于Google发布的Bigtable，是由Powerset公司的Chad walters和Jim Kelleman在2006年末发起的。2007年7月，由Mike Cafarella提供代码，形成了一个基本可用的系统。

2、NoSQL

  NoSQL=Not Only SQL，不仅仅是SQL。NoSQL是一个通用术语，即非关系型数据库，它不是以SQL作为其主要访问语言。NoSQL数据库共分为4类，分别是键值（Key-Value）存储数据库、列存储数据库、文档型数据库和图形（Graph）数据库。

  • 键值（Key-Value）存储数据库
    键值存储数据库中的数据是以键值对格式进行存储的，类似于Java中的Map，其数据库中的表有一个特定的Key键和键所指向的Value值。Key-Value模型的优势在于简单且容易部署，可以将程序中的数据直接映射到数据库中，使程序中的数据和键值存储数据库中的数据存储方式很相近，比如Redis。
  • 列存储数据库
    列存储数据库与传统的关系型数据库不同，关系型数据库按照行进行存储，而列数据库是每一列单独存放，仅仅查询所需要的列，查询速度大幅提高。在HBase中，这些列是由列家族来安排的。
  • 文档型数据库
    文档型数据库和键值存储类似。该类型的数据模型是将内容按照某些特定的格式进行存储，如JSON格式和MongoDB就属于文档型数据库。
  • 图形（Graph）数据库
    图形数据库与关系型数据库和列式数据库不同，它是基于灵活的图形模型，并且可以扩展到多个服务器上。另外，由于NoSQL数据库并没有标准的查询语言（SQL），所以在进行数据库查询时需要制定数据模型，如Neo4j。
3、关系型数据库与非关系型数据库的区别
  • 成本：NoSQL数据库简单易部署，基本都是开源软件，不需要像使用Oracle那样花费大笔资金购买后使用，相比关系型数据库NoSQL价格便宜。
  • 查询速度：NoSQL数据库将数据存储于缓存中，关系型数据库将数据存储在硬盘中，自然查询速度远不及NoSQL数据库。
  • 存储数据格式：NoSQL的存储格式是key/value形式、文档形式、图片形式等，所以可以存储基础类型及对象或者集合等各种格式，而数据库则只支持基础类型。
  • 扩展性：关系型数据库有类似于JOIN这样的多表查询机制的限制导致扩展很艰难。
4、HBase概述

  HBase即HadoopDataBase，是一个基于HDFS和ZooKeeper的列式数据库，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。HDFS是大型数据集分析处理的文件系统，具有高延迟的特点，它更倾向于读取整个数据集而不是某条记录，因此当处理低延迟的用户请求时，HBase是更好的选择，它能实现某条数据的快速定位，提供实时读写功能。
  HBase利用Hadoop HDFS作为其文件存储系统，利用基于YARN的MapReduce来处理HBase中的海量数据，利用ZooKeeper作为其分布式协同服务，主要用来存储非结构化和半结构化的松散数据，也就是列存储的NoSQL数据库。
在这里插入图片描述

HBase数据模型主要包括行键（Row Key）、列族、时间戳、单元格（Cell）和HLog（WAL log）。如下图所示：
在这里插入图片描述

5、HBase体系结构

在这里插入图片描述

  1. ZooKeeper组件
    该组件主要用于存储HBase的schema和Table元数据，它保障在任何时候，集群中只有一个Master，同时，ZooKeeper用来存贮所有Region的寻址入口，进行实时监控RegionServer的上线和下线信息，并且实时通知HMaster。

  2. 资源分配HMaster
    HMaster组件类似HDFS中的NameNode，它不存储数据，主要作用是为RegionServer分配Region，同时负责RegionServer的负载均衡，如果发现失效的RegionServer，它会重新分配上面的Region，HMaster组件还会管理用户对Table的增、删、改操作。

  3. HRegionServer（Region的处理）
    HRegionServer组件则类似HDFS中的DataNode。HRegionServer组件负责维护Region，处理对Region的I/O请求，同时，HRegionServer会负责切分在运行过程中变得过大的Region。

  4. 保持访问性能Client
    Client组件主要包含访问HBase的接口，同时维护Cache来加快对HBase的访问性能。

  5. 分布式存储和负载均衡最小单元Region
    Region是HBase中分布式存储和负载均衡的最小单元，HBase会自动把表水平划分成多个区域，也就是多个Region。每个Region会保存一个表里面某段连续的数据，每个表一开始只有一个Region，随着数据不断插入，Region会不断增大，当增大到一个阀值的时候，Region就会等分成两个新的Region，这个等分的过程又称之为裂变。当表中的行不断增多时，就会有越来越多的Region。这样一张完整的表被保存在多个RegionServer上。

  6. MemStore与StoreFile组件
    一个区域，也就是一个Region往往由多个Store组成，一个Store包括位于内存中的MemStore和位于磁盘的StoreFile。

6、HBase安装部署（单机版）

1、下载

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.3.0/hbase-2.3.0-bin.tar.gz

2、解压

tar -zxvf hbase-2.3.0-bin.tar.gz -C ../servers/

3、设置环境变量

通过如下命令，

vim /etc/profile

添加该配置：

export HBASE_HOME=/export/servers/hbase-2.3.0
export PATH=:$HBASE_HOME/bin:$PATH

执行下面命令，让配置的环境变量生效：

source/etc/profile

4、修改配置文件

首先创建下面目录：

#在Hbase跟目录下
mkdir -p ./data/tmp
mkdir -p ./data/pids

然后修改hbase-env.sh文件，增加或修改如下配置：

export JAVA_HOME=/export/servers/jdk1.8.0_251
export HADOOP_HOME=/export/servers/hadoop-2.7.5
export HBASE_HOME=/export/servers/hbase-2.3.0
export HBASE_CLASSPATH=/export/servers/hadoop-2.7.5/etc/hadoop
export HBASE_PID_DIR=/export/servers/hbase-2.3.0/data/pids
export HBASE_MANAGES_ZK=false

其中，HBASE_MANAGES_ZK=false 是不启用HBase自带的Zookeeper集群。

最后，修改 hbase-site.xml文件

<!-- 存储目录 -->
<property>  
	 <name>hbase.rootdir</name>  
	<!--  <value>hdfs://node01:9000/hbase</value>  -->
	<value>/export/servers/hbase-2.3.0/data/rootdir</value>
 <description>The directory shared byregion servers.</description>  
</property>  

<!-- false是单机模式，true是分布式模式  -->
  <property>
    <name>hbase.cluster.distributed</name>
    <value>false</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>/export/servers/hbase-2.3.0/data/tmp</value>
  </property>

5、启动Hbase

./bin/start-hbase.sh

在这里插入图片描述

启动成功后（需要等一会儿），然后访问：http://192.168.1.8:16010，出现如下界面，说明启动成功了。
在这里插入图片描述

7、HBase的简单使用

1、通过shell进入Hbase。命令：hbase shell。

[root@node01 hbase-2.3.0]# hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/export/servers/hadoop-2.7.5/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/export/servers/hbase-2.3.0/lib/client-facing-thirdparty/slf4j-log4j12-1.7.30.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell
Use "help" to get list of supported commands.
Use "exit" to quit this interactive shell.
For Reference, please visit: http://hbase.apache.org/2.0/book.html#shell
Version 2.3.0, re0e1382705c59d3fb3ad8f5bff720a9dc7120fb8, Mon Jul  6 22:27:43 UTC 2020
Took 0.0012 seconds                                                                                                                                      
hbase(main):001:0>

2、创建表

#新建一个用户表 t_user，添加两个列族 st1 和 st2
create 't_user','st1','st2'

在这里插入图片描述

3、添加数据

#添加 主键 、列 和值
put 't_user','1001','st1:age','18'
put 't_user','1001','st2:name','zhangsan'

在这里插入图片描述

4、查看表结构

describe 't_user'

在这里插入图片描述
5、查看表数据

scan 't_user'

在这里插入图片描述

6、查看表
在这里插入图片描述

姠惢荇者
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hbase权限控制配置
qianchun22的博客
09-24 627
Hbase权限控制Hbase权限控制简介Hbase权限控制配置 转载来自：https://blog.csdn.net/shenliang1985/article/details/51420332 https://blog.csdn.net/jarth/article/details/52778207 Hbase权限控制简介 Hbase的权限控制是通过AccessController Coprocessor协处理器框架实现的，可实现对用户的RWXCA的权限控制。 Hbase权限控制配置 1、停止HBase运行
HBase的安装和使用
fanday的博客
01-05 492
文章目录HBaes介绍1.1、HBase的起源1.2、HBase的角色1.2.1、HMaster1.2.2、RegionServer1.3、HBase的架构HBase部署与使用2.1、部署2.1.1、Zookeeper正常部署2.1.2、Hadoop正常部署2.1.3、HBase的解压2.1.4、HBase的配置文件2.1.5、HBase需要依赖的Jar包2.1.6、HBase软连接Hadoop配...
NoSQL介绍以及HBase基础
Mr_Bright的博客
09-25 441
第 1 章 HBase 简介 1.1 HBase 定义 HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 1.2 HBase 数据模型 逻辑上，HBase 的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。 但从 HBase 的底层物理存储结构（K-V）来看，HBase 更像是一个 multi-dimensional map。 1.2.1 HBase 逻辑结构 1.2.2 HBase 物理存储结构 1.2.3 数据模型 1）Name Space 命名空间，类似于关系
NoSQL数据库——Hbase
weixin_47774641的博客
05-29 1328
NoSQL数据库——Hbase 1、什么叫做NoSQL数据库？ NoSQL是非关系型数据库的统称，它采用类似键/值、列族、文档等非关系模型。 2、已经有了使用这莫方便的MySQL等关系型数据库，为什莫还需要NoSQL数据库？ NoSQL数据库的产生是为了解决传统关系型数据库应对大数据的应用难题，包括大规模数据集存储、多重数据种类等方面的挑战。 常见的NoSQL数据库种类： 列族数据库：Hbase 文档数据库：mongoDB 键值数据库：Redis 图数据库：Neo4j 这里用Hbase做个简单的了解：
HBase与NoSQL：HBase与其他NoSQL数据库的比较
禅与计算机程序设计艺术
01-28 1128
1.背景介绍 1. 背景介绍 NoSQL数据库是一种非关系型数据库，它的特点是可以存储非结构化的数据，并且可以处理大量的数据。HBase是一个分布式、可扩展的列式存储系统，它是基于Google的Bigtable设计的。HBase是一个开源的NoSQL数据库，它的核心功能是提供高性能的随机读写访问。 在本文中，我们将对比HBase与其他NoSQL数据库，例如Redis、MongoDB、Cass...
分布式NoSQL数据库HBase实践与原理剖析（一）
luoyepiaoxue2014的博客
11-27 704
Apache HBase™ 是Hadoop数据库，是一种分布式、可扩展的大数据存储。HBase 是 BigTable 的开源 java 版本。建立在 HDFS 之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的NoSQL数据库系统。
Hbase入门——安装与配置
李旭的博客
04-01 711
本文讲述如何安装，部署，启停HBase集群，如何通过命令行对Hbase进行基本操作。 并介绍Hbase的配置文件。 在安装前需要将所有先决条件安装完成。 一、先决条件 1、JDK 和Hadoop一样，Hbase需要JDK1.6或者更高的版本，所以请安装好JDK并配置环境变量。 Hbase版本与JDK版本 HBase Version JDK 7 JDK 8 JDK...
一条数据的HBase之旅，简明HBase入门教程-Write全流程
02-25
在下面的流程图中，我们使用下面这样一个红色小图标来表示该数据所在的位置：数据位置标记HBase中提供了如下几种主要的接口：HBase的基础API，应用最为广泛。基于Shell的命令行操作接口，基于JavaClientAPI实现。...
hbase-1.2.6-bin+src.tar.rar
10-06
参考链接：[博客教程](https://blog.csdn.net/haobindayi/article/details/82948123)，该博客提供了HBase的入门教程和实践指导，是学习HBase的良好起点。 总结，HBase作为一款强大的NoSQL数据库，广泛应用于大数据...
hbase-0.94.6.jar
11-09
大数据hbase入门学习，安装。hbase-0.94.6.jar包，欢迎下载
nosql数据库hbase
12-14
便于学习nosql,hbase的PPT，学习好材料。
Hadoop安装学习-入门教程
11-30
Hadoop 安装 学习 入门教程 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, ...
第1章 HBase入门-v1.3.docx
12-07
《第1章 HBase入门》 HBase，全称为Hadoop Distributed File System，是一种构建在Hadoop文件系统（HDFS）之上的分布式列式数据库，是NoSQL数据库家族中的重要成员。本章将引领读者逐步深入HBase的世界，了解其核心...
Hbase简介
码灵的博客
03-21 3342
特性 Hbase是一种NoSQL数据库，这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。Hbase是一种分布式存储的数据库，技术上来讲，它更像是分布式存储而不是分布式数据库，它缺少很多RDBMS系统的特性，比如列类型，辅助索引，触发器，和高级查询语言等待。那Hbase有什么特性呢？如下： 强读写一致，不是“最终一致性”的数据存储，这使得它非常适合高速的计算聚合 自动分片，通过Region分散在集群中，当行数增长的时候，Region也会自动的切分和再分配 自动的故障转移 Hadoop
【Hadoop】Hbase 面向列的Nosql 、分布式数据库
2301_82257383的博客
04-12 449
ip1024b （备注软件测试）**[外链图片转存中…(img-ip9TcnJJ-1712924251043)]
NoSql数据库（hbase版）碰到的问题
最新发布
qq_61945695的博客
06-02 231
目的：创建teacher的表报错：解释：这个错误提示是由于 Thrift 期望的是一个字节对象（bytes-like object），而不是字符串对象（str）。在这种情况下，需要将字符串编码为字节对象。
Hbase是什么？
QenXX的博客
06-30 3148
Hbase/Hadoop Database 是什么 概念/定义 Hbase是一个分布式，可扩展，支持海量数据存储的noSQL数据库 优点 支持大量的数据存储 易拓展 自动切片，自动故 障转移 可以使用Java API编程 缺点 没有高级查询语句 延迟较MySql等关系型数据库大 需要分布式运行，需要一定的机器数量 名词解释 namespace 类似于mysql database rowkey：每条数据的唯一标识，hbase中的数据按照rowkey字典序排序的（1 10 100 101 11 20 21） r
如何快速搭建一个简易的ELK日志分析系统
向心行者
05-17 8014
一、ELK简介   ELK就是一款非常优秀的、开源的、用于搭建实时日志分析平台的组件。ELK是Elasticsearch、Logstash和Kiabana这3款开源框架首字母的缩写。通过这三个组件，构建一个统一的日志管理系统，用来收集分布式部署系统中分散在不同设备上的日志，方便后续进行日志分析。   其中，Elasticsearch是一个实时的分布式搜索和分析引擎，建立在全文搜索引擎Apache Lucene基础之上，使用Java语言编写，具有分布式、高可用性、易扩展、具有副本和索引自动分片功能、提供基于H
启动hadoop时，免密码登录引发的错误：“The authenticity of host ‘node01 (192.168.1.8)‘ can‘t be established.”
向心行者
08-08 6288
The authenticity of host ‘node01 (192.168.1.8)’ can’t be established. 详细报错： [root@node01 hadoop-2.7.5]# sbin/start-yarn.sh starting yarn daemons starting resourcemanager, logging to /export/servers/hadoop-2.7.5/logs/yarn-root-resourcemanager-node01.out The
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

姠惢荇者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值