【大数据离线开发】7.2 搭建HBase环境

已于 2023-02-20 11:06:40 修改
阅读量413 收藏 1
点赞数 2
分类专栏： 大数据从入门到精通 文章标签： hbase 大数据 hadoop
于 2023-02-20 11:00:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_66345324/article/details/129120385
版权
文章详细介绍了如何搭建HBase的不同运行模式，包括本地模式、伪分布模式和全分布模式，以及在高可用性(HA)配置下的设置。在每个模式中，都涉及了HBase与Hadoop的集成、Zookeeper的配置以及RegionServer的管理。全分布模式强调了多节点间的同步和时间一致性要求。HA模式下，HBase能自动切换主节点。
摘要由CSDN通过智能技术生成

7.2 搭建HBase的环境

准备工作：

解压Hbase安装包
[root@bigdata111 tools]# tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training/

设置Hadoop的环境变量 vi ~/.bash_profile
HBASE_HOME=/root/training/hbase-1.3.1
export HBASE_HOME

PATH=$HBASE_HOME/bin:$PATH
export PATH	

生效环境变量：source ~/.bash_profile
7.2.1 搭建HBase的本地模式

特点：不需要HDFS，把数据直接存在操作系统Linux上

HBase本地模式配置

参数文件配置参数参考值备注
.bash_profileHBASE_HOME/root/training/hbase-1.3.1
hbase-env.shJAVA_HOME/root/training/jdk1.8.0_14428行
hbase-site.xmlhbase.rootdirfile:///root/training/hbase-1.3.1/data数据保存的目录
首先创建为本地文件

hbase-env.sh

28 export JAVA_HOME=/root/training/jdk1.8.0_144

hbase-site.xml

<property>
	<name>hbase.rootdir</name>
	<value>file:///root/training/hbase-1.3.1/data</value>
</property>

启动HBase命令：start-hbase.sh————仅仅只启动HMaster

停止HBase命令：stop-hbase.sh

在这里插入图片描述

hbase shell 命令进入数据库

在这里插入图片描述

在这里插入图片描述

7.2.2 搭建HBase的伪分布模式

特点

  • 也是一台机器，需要一个zookeeper、一个HMaster、一个RegionServer

  • 需要启动hadoop环境：start-hdfs.sh

HBase伪分布模式配置

参数文件配置参数参考值备注
.bash_profileHBASE_HOME/root/training/hbase-1.3.1
hbase-env.shJAVA_HOME/root/training/jdk1.8.0_14428行
同上HBASE_MANAGES_ZKtrue第129行注释打开
使用HBase自带的Zookeeper
hbase-site.xmlhbase.rootdirhdfs://192.168.157.111:9000/hbaseHBase对应的HDFS目录
同上hbase.cluster.distributedtrue是一个分布式环境
同上hbase.zookeeper.quorum192.168.157.111指定ZK的地址
同上dfs.replication1
regionservers192.168.157.111指定从节点所在的地址

参数配置

hbase-env.sh

28 export JAVA_HOME=/root/training/jdk1.8.0_144

129 export HBASE_MANAGES_ZK=true

hbase-site.xml

<!--HBase对应的HDFS目录-->
<property>
	<name>hbase.rootdir</name>
	<value>hdfs://192.168.157.111:9000/hbase</value>
</property>

<!--是一个分布式环境-->
<property>
	<name>hbase.cluster.distributed</name>
	<value>true</value>
</property>

<!--指定ZK的地址-->
<property>
	<name>hbase.zookeeper.quorum</name>
	value>192.168.157.111</value>
</property>

<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

regionservers

192.168.157.111

启动命令与本地模式一样，但是启动的服务不一样

在这里插入图片描述

可以同本地模式一样在本地操作，也可以在网页上查看，配置的hdfs网址

在这里插入图片描述

可以通过打开ZooInspector文件夹中的zookeeper-dev-ZooInspector.jar文件（JVM打开方式）

点击连接设置

  • connet String ：ip:2181
  • session Timeout：5000
7.2.3 搭建HBase的全分布模式和HA
7.2.3.1 搭建HBase的全分布

需要机器及其配置：

bigdata112：HMaster、ZooKeeper

bigdata113：RegionServer

bigdata114：RegionServer

注意：每台机器的时间同步，可以使用 date -s 11/22/2016 设置时间

如果时间不同步：

  1. Hadoop：执行MR出错
  2. HBase：RegionServer会自动停止

准备工作：

在主节点上进行操作

  • 启动hadoop环境：start-dfs.sh
  • 上传hbase.tar.gz文件到主节点上
  • 解压：tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training/

在每台机器上同步设置环境变量

设置Hadoop的环境变量 vi ~/.bash_profile
HBASE_HOME=/root/training/hbase-1.3.1
export HBASE_HOME

PATH=$HBASE_HOME/bin:$PATH
export PATH	

生效环境变量：source ~/.bash_profile

主机参数配置

hbase-env.sh

28 export JAVA_HOME=/root/training/jdk1.8.0_144

129 export HBASE_MANAGES_ZK=true

hbase-site.xml

参数文件配置参数参考值
.bash_profileHBASE_HOME/root/training/hbase-1.3.1
hbase-env.shJAVA_HOME/root/training/jdk1.8.0_144
同上HBASE_MANAGES_ZKtrue
hbase-site.xmlhbase.rootdirhdfs://192.168.157.111:9000/hbase
同上hbase.cluster.distributedtrue
同上hbase.zookeeper.quorum192.168.157.111
同上dfs.replication2
同上hbase.master.maxclockskew180000
regionservers192.168.157.113
192.168.157.114
<!--HBase对应的HDFS目录-->
<property>
	<name>hbase.rootdir</name>
	<value>hdfs://192.168.157.112:9000/hbase</value>
</property>

<!--是一个分布式环境-->
<property>
	<name>hbase.cluster.distributed</name>
	<value>true</value>
</property>

<!--指定ZK的地址-->
<property>
	<name>hbase.zookeeper.quorum</name>
	value>192.168.157.112</value>
</property>

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>	

<!--允许集群各个节点的时间误差的最大值，单位是毫秒-->
<property>
	<name>hbase.master.maxclockskew</name>
	<value>180000</value>
</property>

regionservers

192.168.157.113
192.168.157.114

文件分发

把安装目录复制到从节点上（可以删掉doc文件下面所有的xml文件）

  • scp -r hbase-1.3.1/ root@bigdata113:/root/training
  • scp -r hbase-1.3.1/ root@bigdata114:/root/training

启动Hbase：start-hbase.sh

在这里插入图片描述

7.2.3.2 搭建HA

不需要单独搭建，使用HBase自带的zookeeper

HBase的HA架构

在这里插入图片描述

  • 配置参数：hbase.zookeeper.quorum

  • 在某个从节点单独启动HMaster：hbase-daemon.sh start master

在这里插入图片描述

在这里插入图片描述

当bigdata112死掉的时候，bigdata114就会成为主节点 ，从节点的一些信息也会显示，因为我们的客户端都是连接zookeeper的

7.2.3.3 比较各种模式下HBase在ZK中保存的数据

在这里插入图片描述

伪分布和全分布模式主要区别是在 rs

全分布和HA模式主要区别是在 backup-masters

小卓仗剑走天涯
关注
专栏目录
大数据平台建设整体架构设计方案
AI天才研究院
10-20 941
《大数据平台建设整体架构设计方案》 关键词： 大数据平台、分布式存储、分布式计算、数据仓库、数据湖、数据安全、数据质量管理、数据治理、数据挖掘、机器学习、图计算、自然语言处理、Hadoop、Spark、Flink、项目规划、运维管理、最佳实践。 摘要：
Hbase离线数据迁移
weixin_42240930的博客
07-05 1379
  注：当前方法基于Hbase-1.2.0，对其他版本有一定兼容性，Version默认为1，默认整表迁移。采用Hbase的Export/Import方式，此方式与CopyTable类似，主要是将HBase表数据通过Export转换成Sequence File并dump到HDFS，而后再Import到新系统的表。因两系统网络不通，所以采用本地文件方式迁移数据。其间若遇到hdfs用户权限问题则su到...
大数据之HBASE
qq_49084095的博客
07-13 1098
第1章HBase简介 1.1什么是HBase HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hbase.apache.org -- 2006年Google发表BigTable白皮书 -- 2006年开始开发HBase -- 2008年北京成功开奥运会，程序员默默地将HBase弄成了Hadoop的子项目 -- 2010年HBase成为Apache顶级项目 --现...
大数据开发学习路线
Faded1573606285的博客
06-18 396
目录 前言 导读： 第一章：初识Hadoop 第二章：更高效的WordCount 第三章：把别处的数据搞到Hadoop上 第四章：把Hadoop上的数据搞到别处去 第五章：快一点吧，我的SQL 第六章：一夫多妻制 第七章：越来越多的分析任务 第八章：我的数据要实时 第十章：牛逼高大上的机器学习 目录 最近看到一篇很不错的文章，献给正在学习大数据的你我他。如果能答出文章中大部分问题，那么恭喜你...
大数据开发必须掌握哪些技术？
Hadoop环境搭建教程
01-05 1762
当学生问到如何学习大数据技术，每次口头介绍都心中清楚无法清晰讲清楚这些技术名词，简单整理给大家。 大数据开发的工具与语言：编程语言（Java，python，R语言等） 1、大数据离线处理架构Hadoop（基于JAVA）开源免费，懂JavaSE； 2、大数据实时计算的架构storm（基于JAVA）开源免费，懂JavaSE； 3、大数据内存计算Spark（基于Scala语言开发）基于JDK开发...
手把手教你离线搭建CDH6.2
AwaysLine
02-07 1508
基于自建 parcels 的方式进行CDH6.2的大数据集群搭建，手把手教你安装，亲测可用，从基础的系统环境搭建、参数优化、硬件划分原则到后期的使用维护及日常运维，应有尽有，是我工作中的实战，后续还会不断维护，请参照下面的步骤实现，非常nice！！！
大数据技术之HBase（超级详细）
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
03-07 8991
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 本文主要介绍了关于HBase的原理概念和发展还有一些实际操作案例，希望对各位小伙伴的学习有所帮助。
大数据开发到底学什么？
大数据基础入门教程
02-06 425
经常有初学者问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。 其实这就是想告诉...
过往记忆大数据 USDP 实测搭建，可替代CDH的免费大数据套件平台
过往记忆大数据
07-13 5077
在过去几年，Cloudera 和 Hortonworks 两家大数据先驱公司分别为我们提供了CDP（Cloudera Data Platform）和HDP（Hortonworks Da...
面经总结(大数据开发相关)
qq_39300291的博客
04-07 4046
整理收集一些面试遇到的简单问题
大数据开发资源.docx
04-26
### 大数据开发资源知识点详解 #### 一、基础知识篇 **1.1 Linux基础** - **学习目标**：掌握基本的Linux操作系统命令，能够独立完成日常开发中的基本操作。 - **学习途径**：建议使用在线教程（如菜鸟教程）进行...
【HBase原理及应用实训课程】第五章 HBase与MapReduce的集成
11-10 1177
一、importTSV 工具概述importTSV 是 HBase 提供的一个命令行工具，将存储在 HDFS 上的数据文件，通过指定的分隔符解析后，导入到 HBase 表中。这样的方式导入数据与正常写入流程不同的是，跳过了 WAL、Memcache 与 Flush 的过程，直接将 HFile 文件移动到 HBase 表空间目录下即可，不影响 HRegionServer 的性能。
大数据技术之HBase中的HRegion
最新发布
xiaoxi_hahaha的博客
11-13 158
该篇文章主要介绍了HBase数据库中HRegion的基本概念，为后面学习HBase基础架构打下良好的基础。
HBase的架构介绍，安装及简单操作
huanghm88的专栏
11-10 1011
HBase的这种原理和架构设计使得它能够在大规模数据存储和处理场景下表现出良好的性能、可靠性和扩展性，适用于各种需要对海量结构化数据进行快速读写和随机访问的应用场景，如实时数据分析、日志存储、推荐系统等。这些是HBase的一些基本安装步骤和简单操作，随着使用的深入，还可以进一步学习更高级的功能，如过滤器、协处理器等，以满足更复杂的数据存储和处理需求。表中插入一条数据，行键为。
【大数据学习 | HBASE高级】hbase的参数优化
2301_80912559的博客
11-12 337
hbase.client.retries.number（默认 15 次）重试次数。一般多种数据会设定多个列族，减少冗余数据的查询，但是也不要设定太多列族，hbase.client.pause（默认值 100ms）重试间隔。默认 0.2,调节大小可以增加缓存数据,blockCache大小。增加缓存大小可以多缓存元数据信息，并且减少查询数据通信次数。属性：zookeeper.session.timeout。解释：默认值为 90000 毫秒（90s）默认值30，可以增加处理请求的线程数量。
【HBase分布式数据库】第三章 HBase快速入门
11-10 1088
任务目的了解安装包下各个文件作用任务清单任务1：解压安装包任务2：文件介绍任务步骤任务1：解压安装包下载通过hbase官网https://hbase.apache.org/downloads.html，选择版本进行下载。3.1-1解压通过以下指令进行解压。3.1-2任务2：文件介绍主目录预览进入hbase主目录并进行查看。3.1-3bin目录该目下两个文件重要，一个文件可以启动hbase服务，一个可以关闭3.1-4conf目录。
【HBase分布式数据库】第七章 数据的导入导出 (2-5)
11-10 1079
掌握引入外部依赖包的方法掌握eclipse打包的方法掌握bulkload导入数据的逻辑代码。
【HBase分布式数据库】第二章 HBase入门前提
11-10 927
HBase版本选择任务目的认识hbase官网学习如何选择版本巧妙利用官网任务清单任务1：hbase官网任务2：hbase版本选择任务3：巧妙利用官网任务步骤任务1：hbase官网2.1-12.1-101 Apache HBase参考指南常见问题:地址：http://hbase.apache.org/book.html#quickstart2.1-202 HBase的下载方式2.1-32.1-4任务2：hbase版本选择。
HBase使用create创建表时报错ERROR: KeeperErrorCode = NoNode for /hbase/master
zcs2312852665的博客
11-10 604
模拟错误场景。正常情况下创建hbase表如下图所示。
大数据技术开发环境搭建指南
大数据技术开发环境搭建是指通过安装和配置各种大数据相关工具和技术，建立一个完整的开发环境，以便进行大数据开发和应用。下面是大数据技术开发环境搭建的知识点： 1. 虚拟机管理器安装：安装VirtualBox虚拟机...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值