大数据Hadoop集群之超级详细的HBase搭建

已于 2022-12-09 12:03:24 修改
阅读量3k 收藏 36
点赞数 7
分类专栏： 大数据 文章标签： hbase hadoop 大数据 hdfs sql
于 2022-11-22 00:58:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52157830/article/details/127802960
版权

HBase

这里写目录标题

1、Hadoop和HBase

  • Hbase是基于Hadoop集群之上来搭建的
  • Hadoop有一些局限性：
    • 做一些批量的数据处理，吞吐量比较高，但是它对随机查询、实时操作性能是不行的
  • HBase是NoSQL数据库的一种，它跟传统的RDBMS有很大的差别
  • 不支持JOIN的，摒弃了关系型模型，而且在HBase中只有一种数据类型：byte[]
  • HBase可以用来存储非常大的表，上亿行的数据，有超过百万列，而且它常用在实时数据处理中。因为它的读写是很快的。

2、Hbase的应用场景

  • HBase只要有海量的数据存储，而且需要快速的写入以及快速的读取场景，就很适合HBase
  • 但NoSQL的特点：对事务的支持性较弱
  • 可以用来存储爬虫的数据，点赞/转发、银行的转账订单…

3、Hbase对于RDBMS对比Hive

Hive
  • 数据仓库工具

Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询

  • 用于数据分析、清洗

Hive适用于离线的数据分析和清洗，延迟较高

  • 基于HDFS、MapReduce

Hive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行

HBase
  • lNoSQL数据库

是一种面向列存储的非关系型数据库。

  • 用于存储结构化和非结构化的数据

适用于单表非关系型数据的存储，不适合做关联查询，类似JOIN等操作。

  • 基于HDFS

数据持久化存储的体现形式是Hfile，存放于DataNode中，被ResionServer以region的形式进行管理

  • 延迟较低，接入在线业务使用

面对大量的企业数据，HBase可以直线单表大量数据的存储，同时提供了高效的数据访问速度

总结Hive与HBase

  • Hive和Hbase是两种基于Hadoop的不同技术

  • Hive是一种类SQL的引擎，并且运行MapReduce任务

  • Hbase是一种在Hadoop之上的NoSQL 的Key/value数据库

  • 这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，Hive可以用来进行统计查询，HBase可以用来进行实时查询，数据也可以从Hive写到HBase，或者从HBase写回Hive

  • RDBMS是关系型数据库支持join、ACID、有schema（创建表的时候必须要指定有哪些列、列是什么类型）…、支持二级索引
  • HBase不支持join的、也不支持ACID、对事务支持有限，无schema（创建表的时候，无需去指定列、列类型）、原生就支持分布式存储的，所以可以用来存储海量数据，同时也兼顾了快速查询、写入的功能

对比Hive：

  • Hive主要用于OLAP，HBase主要用于OLTP，HBase是可以直接接入到业务系统的

4、HBase的安装

注意：

  • HBase依赖于：ZooKeeper、HDFS，在启动HBase之前必须要启动ZK、HDFS，否则HBase无法启动

上传解压HBase安装包

[root@hadoop102 software]# tar -xvzf hbase-1.3.1-bin.tar.gz  -C /opt/module/

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

配置环境变量

vi /etc/profile

#Hbase
export PATH=$PATH:$HBASE_HOME/bin
export HBASE_HOME=/opt/module/hbase-1.3.1/

在这里插入图片描述

使环境变量生效，运行 source /etc/profile使/etc/profile文件生效

在这里插入图片描述

配置HBase

hadoop-env.sh

进入HBase配置文件目录

cd /opt/module/hbase-1.3.1/conf/

编辑 hadoop-env.sh 文件,找到 JAVA_HOME 改为 JDK 的安装目录

vi hbase-env.sh

export HBASE_HOME=/opt/module/hbase-1.3.1
export JAVA_HOME=/opt/module/jdk1.8.0_162
export HADOOP_HOME=/opt/module/hadoop-2.7.1
export HBASE_LOG_DIR=$HBASE_HOME/logs
export HBASE_PID_DIR=$HBASE_HOME/pids
export HBASE_MANAGES_ZK=false
  • export HBASE_PID DIR=/var/hadoop/pids

在这里插入图片描述

  • export HBASE_MANAGES_ZK=false

    • conf/hbase-env.sh 里面的HBASE MANAGES ZK 来切换，这个值默认是true ，作用是让HBase启动的同时也启动ZooKeeper。在安装的过程中，采用独立运行ZooKeeper 集群的方式，故将其属性值改为false 。

  • <3> export HBASE_CLASSPATH=/…/hadoop

  • HBASE_CLASSPATH 是Hadoop 的配置文件路径

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

hbase-site.xml
vi hbase-site.xml

<configuration>
        <!-- HBase数据在HDFS中的存放的路径 -->
        <!-- 设置HRegionServers共享目录，mycluster是我们在hadoop中设置的名字空间 -->
        <property>
            <name>hbase.rootdir</name>
            <value>hdfs://hadoop102/hbase</value>
        </property>
        ＜!--设置HMaster的rpc端口--＞
        <property>
			<name>hbase.master.port</name>       
			<value>16000</value>
		</property>
        ＜！--设置HMaster的http端口--＞
        <property>
	    	<name>hbase.master.info.port</name>
	    	<value>16010</value>
	   	</property>
	   	＜！--指定zookeeper集群端口--＞
	    <property>
	   	   <name>hbase.zookeeper.property.clientPort</name>     #zookeeper端口号
		   <value>2181</value>
		</property>
		＜！一指定zookeeper数据目录，需要与zookeeper集群中的dataDir配置相一致 -->
        <property>
			<name>hbase.zookeeper.property.dataDir</name>
			<value>/opt/module/apache-zookeeper-3.5.9-bin/zkdata</value>
        </property>
		
        <!-- Hbase的运行模式。false是单机模式，true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面 -->
        <property>
            <name>hbase.cluster.distributed</name>
            <value>true</value>
        </property>
        <!-- ZooKeeper的地址 -->
        <property>
            <name>hbase.zookeeper.quorum</name>
            <value>hadoop102,hadoop103,hadoop104</value>
        </property>
        <!-- 指定缓存文件存储的路径 -->
        <property>
	        <name>hbase.tmp.dir</name>
	        <value>/opt/module/hbase-1.3.1/tmp</value>
	    </property>
</configuration>
  • hbase.rootdir的配置
  • 8020是hdfs的默认端口，但是我们在配置hadoop集群时可能在core-site.xml中将hdfs的默认端口更改，这里我们原本在hadoop搭建时core-site.xml没有配置端口号,所以这里也没有端口号
  • hbase.zookeeper.property.dataDir
    • /opt/module/apache-zookeeper-3.5.9-bin/zkdata路径是之前zookeeper集群搭建时自己创建的文件夹，此为数据存储路径
  • 记得修改成自己的主机名

在这里插入图片描述

在这里插入图片描述

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZRIIR7MN-1668136810617)(pictures/image-20221002224816510.png)]

配置regionservers文件

进入hbase 的conf目录下修改regionservers文件regionservers文件负责配置 HBase集群中哪台节点作 Region Server服务器，其配置内容为：

vi regionservers

hadoop102
hadoop103
hadoop104

分发配置

(1)将在hadoop102虚机配置好的hbase分发到hadoop103，hadoop104

scp -r /opt/module/hbase-1.3.1 root@hadoop103:/opt/module
scp -r /opt/module/hbase-1.3.1 root@hadoop104:/opt/module

在这里插入图片描述

(2)将在hadoop102虚机配置好的配置文件(/etc/profile)分发到hadoop103，hadoop104

scp -r /etc/profile root@hadoop103:/etc/
scp -r /etc/profile root@hadoop104:/etc/

在这里插入图片描述

(3)在hadoop103和hadoop104加载环境变量

source /etc/profile

在这里插入图片描述

在这里插入图片描述

(4)此时切记，我们在配置文件中有输入:

export HBASE_HOME=/opt/module/hbase-1.3.1
export HBASE_PID_DIR=/opt/module/hbase-1.3.1/pids

export HBASE_PID_DIR=/opt/module/hbase-1.3.1/pids在hadoop103和hadoop104上没有，需要创建，上面步骤有提到在/opt/module/hbase-1.3.1目录下面创建一个文件夹： mkdir -p /opt/module/hbase-1.3.1/pids,记得更改这个文件夹的权限，chown -R root:root /opt/module/hbase-1.3.1,将这个目录及子目录的拥有者改为你的当前用户，我这是root,不然执行start-all.sh的时候当前用户会没有权限创建pid文件

5、启动HBase

（1）启动zookeeper（在全部虚拟机上启动）

cd /opt/module/apache-zookeeper-3.5.9-bin/bin
./zkServer.sh  start

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

（2）启动hadoop（在hadoop102上启动）

start-all.sh

在这里插入图片描述

（3）启动hbase（在hadoop102上启动）

start-hbase.sh

在这里插入图片描述

在这里插入图片描述

验证HBase是否配置成功

# 在网页输入
hadoop102:16010

在这里插入图片描述

发现没有成功，下面解决一下

cd /opt/module/hadoop-2.7.1/etc/hadoop
cat core-site.xml

在这里插入图片描述

cd /opt/module/hbase-1.3.1/conf
vi hbase-site.xml

在这里插入图片描述

两个端口号要一致

再次访问网页

成功进入，说明配置成功

在这里插入图片描述

6、启动hbase shell客户端

HBase的shell其实JRuby的IRB（交互式的Ruby），但在其中添加了一些HBase的命令。

启动HBase shell：

hbase shell

[root@hadoop102 conf]# start-hbase.sh
starting master, logging to /opt/module/hbase-1.3.1/logs/hbase-root-master-hadoop102.out
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
hadoop103: regionserver running as process 4075. Stop it first.
hadoop104: regionserver running as process 4081. Stop it first.
hadoop102: regionserver running as process 5131. Stop it first.
[root@hadoop102 conf]# cd
[root@hadoop102 ~]# hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/module/hbase-1.3.1/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/module/hadoop-2.7.1/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.3.1, r930b9a55528fe45d8edce7af42fef2d35e77677a, Thu Apr  6 19:36:54 PDT 2017

hbase(main):001:0>

输入status

hbase(main):001:0> status

ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
	at org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMaster.java:2452)
	at org.apache.hadoop.hbase.master.MasterRpcServices.getClusterStatus(MasterRpcServices.java:792)
	at org.apache.hadoop.hbase.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java:58519)
	at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2339)
	at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:123)
	at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:188)
	at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:168)

Here is some help for this command:
Show cluster status. Can be 'summary', 'simple', 'detailed', or 'replication'. The
default is 'summary'. Examples:

  hbase> status
  hbase> status 'simple'
  hbase> status 'summary'
  hbase> status 'detailed'
  hbase> status 'replication'
  hbase> status 'replication', 'source'
  hbase> status 'replication', 'sink'


hbase(main):002:0>

创建表

在这里插入图片描述

语法：

create ‘表名’,‘列蔟名’…

HBase是没有schema的，就是在创建表的时候不需要指定表中有哪些列，只需要指定有多少个列蔟

create "表名","列蔟1", "列蔟2"

总结

以上就是今天要讲的内容，本文仅仅简单介绍大数据Hadoop集群之HBase搭建步骤，按照以上步骤和老师讲解相结合相信你也可以成功安装。

派大星子fff
关注
  • 7
    点赞
  • 踩
  • 36
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
阿里云大数据Hadoop集群搭建全网最新教程
04-20
有需要linux的在评论区说一下
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
说明： 1. 安装软件版本： jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ：sudo mkdir -p /export/server 创建好目录后要改变该目录的属主和属组 ：sudo chown -R ljr:ljr /export 修改目录权限：sudo +771 -R /export -R 表示递归，即export目录下的所有文件及目录的属组和属组以及权限均跟随着改变 3.集群能正常运行的条件是集群可节点宕机数应保证有超过集群机器总数一半的机器在运行，因此从经济和实用性来说，集群的节点一般是奇数个，本文部署4台机器，其容灾能力与部署3台机器一致，即只能宕机1台
hadoop分布式理论CAP和BASE简介
weixin_42497376的博客
03-05 320
CAP定理是由计算机科学家Eric Brewer提出的，它指出在分布式系统设计中，无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition Tolerance）这三个属性。CAP定理指出在分布式系统设计中需要权衡一致性、可用性和分区容错性这三个属性，而BASE则是对传统ACID模型的一种补充，强调基本可用性、软状态和最终一致性。另一个与Hadoop分布式系统相关的概念是BASE，它是对传统的ACID（原子性、一致性、隔离性和持久性）模型的一种补充。
利用java api读取hbase数据遇到的一些坑及解决方法
01-20
报错信息： can not resolve hostname 解决方法：去C:\Windows\System32\drivers\etc\hosts 里配置一下这个hostname和对应的IP java.lang.RuntimeException: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions: Fri Feb 14 10:30:36 CST 2020, null, java.net.SocketTimeoutException: callTimeou
hadoop集群搭建(超级详细)
10-11
超详细集群搭建教程(从虚拟机安装到集群搭建完成，集群搭建成功验证)，每一个步骤都有，照做即可。 内有集群搭建所需安装包：hadoop2.2.0，zookeeper3.4.5
基于centos的大数据hadoop集群搭建说明文档
10-30
适用于初学者徒手搭建hadoop集群，文档细致，完全傻瓜模式，非常好用
Hadoop之HBase基本简介
taka_is_beauty的博客
11-07 3888
目录 1.HBase的基本概念 2.HBase的工作流程 1.HBase的基本概念 1.1基本概念 HBase运行在HDFS上，所以HBase中的数据以多副本形式存放，数据也服从分布式存放，数据的恢复也可以得到保障。 HBase支持横向扩展，这就意味着如果现有服务器硬件性能出现瓶颈只需要在现有的正在运行的集群中添加新的机器节点即可。 HBase是面向列存储的非关系型数据库，每个列都单独存储，所以在HBase中列是连续存储的，而行不是，区别于关系型数据库。 HBase不支持事务，适合结构化数据
HBase环境搭建
qq_60317308的博客
03-24 6137
1.一共需要搭建3台节点，1个主节点2个从节点。在安装之前需要配置好虚拟机网络静态IP，同步时间，关闭防火墙和使用Linux SSH（安全Shell）。 2.安装java，Hadoop，zookeeper并配置环境变量，修改配置文件 安装hbase 配置环境变量，修改配置文件 将以上所有配置好的文件分发给其他两个节点 拷贝命令如下 scp -r (要拷贝的文件路径名称) 目的地用户@主机：目的地路径名称 ...
Hbase集群搭建
Student_201的博客
06-25 948
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。它利用Hadoop 分布式文件系统提供分布式数据存储。存储结构化和半结构化的数据，可以进行随机访问的存取和检索数据。HBase 是非关系型数据库，它不具备关系型数据库的一些特点，例如，它不支持 SQL 的跨行事务，也不要求数据之间有严格的关系，同时它允许在同一列的不同行中存储不同类型的数据。
大数据开源框架环境搭建(五)——Hbase完全分布式集群的安装部署
木子一个Lee的博客
02-18 5114
把最后一行的注释去除(解决hadoop和hbase的jar包冲突问题，为了不让hbase扫描hadoop的jar包)，并且添加(第三条很重要！HBASE_MANAGES_ZK=true，则使用HBase自带的Zookeeper进行管理，只能实现单机模式，常用于测试环境，不能用于生产环境。HBASE_CLASSPATH用于引导HBase找到Hadoop目录，一定要改成hadoop的目录，不然无法识别Hadoop集群名称。启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop。
Hbase的搭建教程
2202_75334392的博客
10-01 427
【代码】Hbase的搭建教程。
Docker hadoop zookeeper hbase 配置文件
03-13
基于Docker搭建HBase集群对应配置文件
hbase_coprocessor_hbase_coprocessorjava_源码
10-01
javaapi实现hbase的触发器，包含hbase的工具类
大数据-数据迁移-hive、hbase、kudu迁移
03-29
由于大数据里面涉及到非关系型数据库如hive、kudu、hbase等的数据迁移，目前涉及到的迁移工具都没有支持hive数据库的事务表的迁移，如果hive库里面存在大量的事务表的时候，目前的工具都是不支持的，例如华为的CDM，阿里研发的datax，hadoop的distcp都是不支持大数据事务表的迁移。但是目前很多公司随着数据量的增涨和上云的趋势，出现了喝多公司迁移大数据平台上云的需求，如果进行上云就要涉及到数据的迁移和各个不同平台数据版本的适配等问题。 下面为从自建的数据中心迁移hadoop到华为云上适配大数据平台MRS的一次项目迁移，此项目涉及到hive、kudu、hbase 的数据迁移，数据总量达到了15T,此文档是耗时5月时间和时间的检验，通过脚本编辑批量迁移完成大数据迁移上云的最终目标，里面涉及具体的迁移方案、解决方案、迁移流程、迁移脚本
weibo_hbase_
10-04
使用hbase技术来实现微博简单功能的案例。
windows安装配置jdk+hadoop+hbase.txt
12-10
windows安装配置jdk+hadoop+hbase
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
七月在线七月在线## Note, this file is written by cloud-init on first boot of an instance
大数据hadoop分布式集群搭建（Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume）
08-23
自己整理的Hadoop环境的一些安装，和一些简单的使用，其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用，只在自己的虚拟机（Linux centOS7）上使用测试过。按照步骤一步...
HBase在大数据集群的安装部署及整合Phoenix
最新发布
weixin_73195042的博客
04-20 868
前提：需要保证三台虚拟机hadoop102-104已经部署好基本配置。未完成的可以参考：https://blog.csdn.net/weixin_73195042/article/details/135886619。
hadoop整合hbase springboot
01-01
hadoop是一个用于分布式存储和处理大数据的开源框架，而hbase是一个建立在hadoop之上的分布式非关系型数据库。而springboot是一个简化了配置和开发流程的Java开发框架。 将hadoop和hbase整合到springboot中，能够为开发人员提供更加便捷和高效的大数据处理解决方案。首先，hadoop可以作为springboot应用的数据存储和处理引擎，通过HDFS存储大量的数据，并且利用MapReduce进行数据处理和分析。其次，hbase可以作为springboot应用的分布式数据库，用于存储和管理海量的非结构化数据。通过整合hbase和springboot，我们可以利用hbase的分布式特性和强大的数据查询能力，为springboot应用提供快速和高效的数据存储和查询服务。 需要注意的是，在整合hadoop和hbase到springboot中时，需要考虑到它们之间的依赖关系和配置参数，以确保整合的稳定性和可靠性。另外，也需要充分利用springboot的自动化配置和依赖注入功能，来简化整合过程，并提高开发效率。 综上所述，通过将hadoop和hbase整合到springboot中，可以为开发人员提供更加便捷和高效的大数据处理解决方案，同时也能够充分发挥各个框架的优势，实现更好的数据存储、处理和分析能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值