Hbase 配置多master节点

最新推荐文章于 2024-08-31 08:49:17 发布
最新推荐文章于 2024-08-31 08:49:17 发布
阅读量3.4k 收藏 1
点赞数
分类专栏： hadoop 文章标签： hadoop hbase 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SJM8560180/article/details/89211251
版权
在运行大数据计算时，为了防止Hbase的Hmaster因内存问题退出，本文档详细介绍了如何在Hadoop 3.0.0集群上配置多Master节点，包括修改hbase-site.xml配置文件，指定Zookeeper集群，并启动额外的Hmaster服务。通过查看日志确定主Master节点。
摘要由CSDN通过智能技术生成

环境描述

正常运行一套hadoop-3.0.0集群，hbase配置，一个Hmaster，两个Hregionserver；

运行大数据计算时候，hbase的Hmaster容易因为内存资源问题自动退出；

需要配置多个Hmaster，多个Hregionserver；

功能需求

根据需求，部署hadoop-3.0.0基础功能架构，以六节点为安装环境，操作系统CentOS 7 x64；

openstack创建三台虚拟机，开始部署；

IP地址

主机名

10.10.204.31

master

10.10.204.32

slave1

10.10.204.33

slave2

10.10.204.34

datanode1

10.10.204.35

datanode2

10.10.204.36

datanode3

功能节点规划

master

slave1

slave2

datanode1

datanode2

datanode3

NameNode

          
     

DataNode

DataNode

DataNode

JournalNode

JournalNode

JournalNode

      

zookeeper

zookeeper

zookeeper

      

kafka

kafka

kafka

      
     

NodeManager

NodeManager

NodeManager
 

ResourceManager

ResourceManager

      

HMaster

HRegionServer

HRegionServer

HRegionServer

HRegionServer
最低0.47元/天 解锁文章
IT-冰河
关注
专栏目录
HBase安装以及多个HMaster配置步骤
kayla的博客
05-31 3689
1.解压缩hbase-0.94.6.tar.gz tar zxvf hbase-0.94.6.tar.gz 2.配置hbase环境变量/etc/profile export HBASE_HOME=/home/hadoop/hbase export PATH=$PATH:$HBASE_HOME/bin 3.修改hbase/conf/的配置文件： hbase-env.sh export
大数据平台环境搭建---- Hbase组件配置
qq_74400992的博客
01-18 991
进入Hadoop安装目录的conf目录，将配置文件core-site.xml和hdfs-site.xml复制到HBase安装目录下的conf目录，用于HBase启动时读取Hadoop的核心配置信息和HDFS配置信息。在HBase安装目录下的conf目录，执行“vi backup-masters”命令编辑备用HMaster配置文件backup-masters，配置备用HMaster所在的服务器主机名.在HBase安装目录下的conf目录，执行“vi hbase-site.xml”命令编辑HBase配置文件。
怎么在Hbase中设置多个HMaster
Demon的博客
12-08 4846
目的：为了实现Hbase的高可用性，需要设置多个HMaster来管理Hbase中的RegionServer负责哪部分数据。 HMaster的功能：管理Hbase中的RegionServer负责哪部分数据，假设有三个RegionServer，当Hbase中的RegionServer2挂了的时候，HMaster会将该RegionServer2中的数据例如：region2和region35平均分配给例...
Hbase的基本架构（二）Zookeeper HMaster作用
技术博客
08-31 1052
③、当Active HMaster启动之后，会自动的在Zookeeper上注册一个临时节点/hbase/master-当Active HMaster宕机之后，这个临时节点就会消失，此时Zookeeper就会从backup-masters节点中选择最早注册的节点来切换为Active状态。注意，在HBase中，列不是元数据，因为列可以动态增删 - 也就意味着凡是产生元数据的操作会经过HMaster，不产生元数据的操作不会经过HMaster。①、在HBase中，Zookeeper充当了注册中心。
Hbase-HA搭建(两个HMaster)
Shi_Liz的博客
02-15 3973
1.配置 1.1.环境配置 配置HBASE_HOME（部分参数路径基于此配置，比方说log） vi ~/.bash_profile PATH=$PATH:$HOME/bin export JAVA_HOME=/home/hadoop/env/jdk1.7.0_80 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:...
hadoop(ha)&hbase(双master)安装
weixin_34405557的博客
03-01 561
一．软件包准备 CentOS Linux release 7.2 Linux version 3.10.0-327.el7.x86_64 jdk-7u65-linux-x64.tar.gz zookeeper-3.4.9 hadoop-2.7.3 hbase-1.3.0 集群机器配置 时间同步、设置时区 ssh免密登录 安装psmisc工具包 二．安装、配置 　　　...
HBaseAPI使用，分布式搭建，多Master
haoyuexihuai的专栏
12-21 1195
一、hbase Java client 添加maven依赖<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>0.98.6-hadoop2</version> </dependency> <dependency> <groupId>org.apac
hbase配置master
最新发布
09-08
如果你希望Master节点运行在一个单独的服务容器里（推荐），可以配置`hbase.master.port`来设置端口。 3. **集群模式**：如果你有一个分布式HBase集群，还需要配置其他几个关键配置，比如`zookeeper.quorum`...
HBase配置文件若干配置.zip
06-19
本文将深入探讨HBase的核心配置文件及其重要参数，帮助你更好地理解和优化你的HBase集群。 HBase的配置主要通过XML文件进行，这些文件通常位于`conf`目录下，包括`hbase-site.xml`、`hbase-default.xml`等。`hbase-...
Linux-HBASE纯单节点版安装-适合新手入门
m0_61813695的博客
06-20 1388
HBASE官网：Apache HBase – Apache HBase™ HomeHBASE官方指南：Apache HBase ™ Reference Guide HBASE和JDK版本对应关系HBASE和Hadoop版本对应关系 本文使用版本为：hbase-2.3.2-bin.tar.gz 下载地址：Index of /dist/hbasehadoop-3.3.2.tar.gz 下载地址：Index of /dist/hadoop/commonhadoop-3.3.2.tar.gz 国内地址：I
Hbase搭建（单机和集群）Hmaster高可用
weixin_51893925的博客
04-19 656
1.上传jdk，hadoop，zookeeper，hbase压缩包 2.解压到/usr/local目录下 3.配置jdk，hadoop，zookeeper，hbase环境变量 4.搭建hadoop集群 5.搭建zookeeper集群 6.更改Hbase配置 1.修改hbase-env.sh配置 cd /usr/local/hbase-2.0.5/conf vim hbase-env.sh 修改jdk路径 export JAVA_HOME=/usr/local/jdk1.8.0_201 是否运用hb
ApsaraDB-HBase双集群和稳定性
qq_40954115的博客
01-30 229
原文链接：点击打开链接 摘要： 摘要：在2018年1月25日的数据库直播上由阿里云HBteam的玄陵带来了以“ApsaraDB-HBase双集群和稳定性”为主题的分享，通过对云HBase双集群方案的必要性、常见跨集群数据复制方案、云HBase 跨集群数据复制、云HBase双集群方案选择以及云HBase服务的稳定性进行了详细的介绍。 摘要：在2018年1月25日的数据库直播上由阿里云
Hbase的HA（高可用）
落幕7的博客
10-15 1241
ZooKeeper在HBASE高可用中的作用： 1.元数据同步 2.主备切换 HMaster: 主HMaster在启动时会在ZooKeeper中/master节点注册 备用的HMaster在启动时会在ZooKeeper中backup-masters节点注册 HMaster只有一个，当进程挂了，那么会对HBase集群造成影响（单节点故障） 解决办法：在另外一台服务器上，例如slave1，在启动一个HMaster 启动命令： cd /usr/local/soft/hbase-1.6.0/ ./bin/
HBase如何识别HMaster
自渡
10-29 1380
如果不在配置文件(hbase-site)中指定master 那么在哪台机器上执行./hbase/bin/start-hbase.sh，哪台机器就会被认为是HMaster。 配置文件指定master参考下图：
HBase总结
A的虎的博客
09-23 896
HBase的架构和读写流程分析，keyrow的设计，大小合并，region的拆分
《HBase管理指南》一1.9　安装多个高可用性（HA）的主节点
weixin_34237596的博客
05-02 106
本节书摘来异步社区《HBase管理指南》一书中的第1章，第1.9节，作者： 蒋燚峰 译者： 苏南，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.9　安装多个高可用性（HA）的主节点 Hadoop和HBase的设计目标是能够在各从节点之间自动进行故障转移。 因为在大型集群中可能有很多节点，服务器硬件故障或从节点宕机被视为是集群中的正常现象。 对...
HDFS与HBASE的动态节点的扩容（增删）小白级(一)
qq_53213957的博客
10-12 1003
本文从新建一台新的虚拟机开始，来详细的阐述HDFS与HBAE如何动态的增删节点。 环境： CentOS-7-x86位 jdk1.8.0_171 zookeeper-3.4.10 hadoop-2.7.3 hbase-1.2.4 master:192.168.193.140 slave1:192.168.193.141 slave2:192.168.193.142 slave3:192.168.193.143 一、基本配置 在做HDFS和HBASE的动态增删节点，需要提前准备一台新的虚拟.
Hbase0.96源代码之HMaster(二)Hmaster主要循环becomeActiveMaster
luyee2010的专栏
05-20 3522
1，Hmaster主循环主要这里主要有： 1,1 becomeActiveMaster(startupStatus); 1.2 finishInitialization 1.3 loop（） becomeActiveMaster(startupStatus); // We are either the active master or we were asked to shut
HBase中的HMaster、HRegionServer、Zookeeper
qq_38799155的博客
10-28 1951
HMaster是HBase主/从集群架构中的中央节点。通常一个HBase集群存在多个HMaster节点,其中一个为Active Master,其余为Backup Master. Hbase每时每刻只有一个hmaster主服务器程序在运行，hmaster将region分配给region服务器，协调region服务器的负载并维护集群的状态。Hmaster不会对外提供数据服务，而是由region服务器负
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值