HBase详细部署流程

最新推荐文章于 2024-07-25 18:44:22 发布
最新推荐文章于 2024-07-25 18:44:22 发布
阅读量933 收藏 4
点赞数
文章标签： hbase apache 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yujianbujianqwe/article/details/132201710
版权

大数据平台XSailboat简介_OkGogooXSailboat的博客-CSDN博客

1、部署环境

        在安装HBase之前，首先应确保以下基础设施构建成功：

  1. JDK 8版本安装设置成功：jdk8.0_161以上版本（JDK 8.0_161以上版本，默认启用无限强度加密，不需要再安装JCE Policy File。）
  2. Zookeeper-6.2安装部署成功
  3. Hadoop-3.2.2安装部署成功
  4. 操作系统设置完毕，包括：
  • 用户hadoop，用户组hadoop
  • 安装根目录/xcloud，用户hadoop及其组拥有完全权限
  • 关闭SElinux
  • 关闭防火墙
  • 主机间无密码SSH登录

2、安装

        2.1 上传安装包

        使用FTP上传安装文件（hbase-2.4.2-bin.tar.gz）到主机的 /xcloud 目录。

        2.2 解压并修改目录名

        命令：

su hadoop

cd /xcloud

tar -zxvf hbase-2.4.2-bin.tar.gz

mv hbase-2.4.2 hbase

        2.3 修改系统环境变量

        命令：

su                                // 切换root用户

vi /etc/profile                       // 用root用户修改配置文件

source /etc/profile                  // 用root用户重新启用配置文件

su hadoop                        // 切换hadoop用户，重新启用配置

source /etc/profile

        修改后（添加以下内容）：

        2.4 修改xcloud/hbase/conf/hbase-env.sh文件

        命令：

su hadoop

vi /xcloud/hbase/conf/hbase-env.sh

        修改后（添加如下内容）：

        补充：添加“export HBASE_PID_DIR=/xcloud/hbase/tmp”，否则，关闭master等节点时，提示找不到pid文件。

        2.5 修改xcloud/hbase/conf/ hbase-site.xml文件

        命令：

su hadoop

vi /xcloud/hbase/conf/hbase-site.xml

        修改后（添加如下内容）：

        2.6 修改/xcloud/hbase/conf/backup-masters文件

        初始情况下，backup-masters文件不存在，需手动创建，然后添加master主机信息。

        命令：

su hadoop

touch /xcloud/hbase/conf/backup-masters           // 创建backup-masters配置文件

vi /xcloud/hbase/conf/backup-masters

        修改后（添加以下内容）：

        注意：backup-masters文件的参数取值必须是Unix格式，否则会引发如下错误：

        2.7 修改/xcloud/hbase/conf/regionservers文件

        命令：

su hadoop

vi /xcloud/hbase/conf/regionservers

        修改后（添加以下内容）：

3、启动

        3.1 方式一（未验证）

        命令：

su hadoop

cp $HADOOP_HOME/share/hadoop/common/lib/htrace-core-3.1.0-incubating.jar  $HBASE_HOME/lib/client-facing-thirdparty/           // 将hadoop中的jar拷贝到hbase

cd /xcloud/hbase/bin

./start-hbase.sh

        3.2 方式二

        根据主机规划，分别在XCloud150、XCloud151上执行如下命令，启动master。

        命令：

su hadoop

cd /xcloud/hbase/bin

./hbase-daemon.sh start master

        输出：

         根据主机规划，分别在XCloud152、XCloud153、XCloud154上执行如下命令，启动regionserver：

        命令：

su hadoop

cd /xcloud/hbase/bin

./hbase-daemon.sh start regionserver

        输出：

         3.3 验证：进程

        命令：jps

        输出（master主机应显示HMaster进程；region主机应显示HRegionServer进程 ）：

        3.4 验证：Web界面

        在浏览器中输入各服务节点的web地址，查看相应的web界面。

        HMaster访问地址：

http://192.168.0.150:16010

http://192.168.0.151:16010

        HRegionServer访问地址：

http://192.168.0.152:16030

http://192.168.0.153:16030

http://192.168.0.154:16030

        3.5 验证：HBase Shell

  1. 所有服务启动后，在任意主机上执行如下命令可进入HBase Shell：

su hadoop

hbase shell

        执行成功后，可进入HBase Shell环境：

 

  1. 创建一个表（test表，cf列簇）：

create 'test', 'cf'

        输出：

  1. 使用list命令确认表格test创建成功：

list 'test'

        输出：

 

  1. 使用describe命令查看表test的属性（配置）：

describe 'test'

        输出：

 

  1. 插入数据：

put 'test', 'row1', 'cf:a', 'value1'

put 'test', 'row2', 'cf:b', 'value2'

put 'test', 'row3', 'cf:c', 'value3'

        输出：

  1.  遍历（scan）表内容：

scan ‘test’

        输出：

 

  1. 获取（get）表的某一行：

get 'test', 'row1'

        输出：

 

  1. 禁用（disable）表（删除表格或修改表格配置前，对应启用表格的命令为enable）：

disable 'test'

        输出：

 

  1. 启用（enable）表

enable 'test'

        输出：

 

  1. 删除（drop）表

drop 'test'

        输出（可以看到如果一个表未disable，直接删除会引发报错）：

 

        注意：删除表格（要首先disable），并确认表格已不存在（desc命令）：

disable 'test'

drop 'test'

desc 'test'

        输出：

 

  1. 退出HBase Shell：

quit

输出：

 4、常见错误

        4.1 org.apache.hadoop.hbase.ClockOutOfSyncException

        org.apache.hadoop.hbase.ClockOutOfSyncException:

        org.apache.hadoop.hbase.ClockOutOfSyncException: Server xxxxxx,60020,1416564592512 has been rejected; Reported time is too far out of sync with master.  Time difference of xxxxx ms > max allowed of 30000ms

        这是由于各节点的时间不同步引起的，解决这个问题需要在集群各几点上安装和启动NTP服务，并选取其中一台机器（往往是master节点）做为集群内的时间服务器，从而确保整个集群所有机器的时间是一致的。

        每台机器可以使用如下命令与网络同步时间：

ntpdate cn.pool.ntp.org

        4.2 FATAL [master:xxxxx:60000] master.HMaster

        FATAL [master:xxxxx:60000] master.HMaster: Unhandled exception. Starting shutdown.

        org.apache.hadoop.security.AccessControlException: Permission denied: user=hbase, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x

        这是由于启动HBase服务的用户没有在HDFS指定目录上（这里是根目录）进行写操作的权限。出现这种问题的常见原因是使用了某个专有帐号（比如hadoop)启动了hadoop的各项服务，而使用了另个某个专有帐号（比如hbase)去启动hbase，由于hbase在初次启动时需要在HDFS的根目录上建立一个hbase文件夹来存放数据，而对于hdfs来说，只有hadoop用户才有权在根目录上进行写操作。所以解决的方法就是使用hadoop用户在hdfs的根目录上建立一个hbase文件夹，同时把它的group和owner都改为hadoop就可以了。

        4.3 java.net.UnknownHostException: nsx

        Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: nsx

        原因：使用Hadoop的HA时，必须在conf/hbase-env.sh文件中指定HADOOP_CONF_DIR选项，才能使得HBase能够解析Hadoop配置中的dfs.nameservices=nsx指定的“nsx”这个Hadoop集群名。

        具体设置可参考：2.4.2 conf/hbase-env.sh 。

        4.4 java.lang.RuntimeException: HRegionServer Aborted

        启动hbase集群的时候，刚启动时每个节点上的进程都显示正常，过一会其他两个节点上的HRegionServer自动挂掉。查看日志，报错：java.lang.RuntimeException: HRegionServer Aborted。重新启动，马上又挂掉。

        原因：默认当加载错误的协处理器之后，会导致regionserver挂掉。

        修改配置文件添加

        在hbase的配置文件中hbase-site.xml添加：

<property>
    <name>hbase.coprocessor.abortonerror</name>
    <value>false</value>
</property>

        然后重新启动habse，问题就解决。

5、HBase HBCK2问题修复

        HBCK2命令详解，请阅读《HBaseFsck使用教程》

        5.1 问题1

        问题描述：机房突然断电，Hadoop集群服务器（含HBase服务器）全部死机，重启后，HBase的procedure被卡住了

        部分问题截图：

        从截图中可以看到pid为835的procedure被锁住了，此外在Procedures列表中，可以看到835 的procedure下还有子procedure（截图缺失）。因此需人工释放procedure，命令bypass，选项 -o 、-r。

        解决方法：

 ./hbase hbck -j /xcloud/HBCK2/hbase-operator-tools/hbase-hbck2/target/hbase-hbck2-1.3.0-SNAPSHOT.jar bypass -o -r 835

5.2 问题2

        问题描述：衔接问题1，释放procedure后，发现被锁住的procedure相关region不一致。

 

HBase 推荐解决方案如下：

There are three cases: 1. Master thought this region opened, but no regionserver reported it (Fix: use assign command); 2. Master thought this region opened on Server1, but regionserver reported Server2 (Fix: need to check the server still exists. If not, schedule ServerCrashProcedure for it. If exists, restart Server2 and Server1): 3. More than one regionserver reports opened this region (Fix: restart the RegionServers). Note: the reported online regionservers may be not be up-to-date when there are regions in transition.

有三种情况：1。Master认为该区域已打开，但没有regionserver报告（修复：使用assign命令）；2.Master认为此区域已在Server1上打开，但regionserver报告Server2（修复：需要检查服务器是否仍然存在。如果不存在，请为其安排ServerCrashProcedure。如果存在，请重新启动Server2和Server1）：3。多个regionserver报告打开了此区域（修复：重新启动regionserver）。注意：当存在过渡区域时，报告的在线区域服务器可能不是最新的。

解决方法：

./hbase hbck -j /xcloud/HBCK2/hbase-operator-tools/hbase-hbck2/target/hbase-hbck2-1.3.0-SNAPSHOT.jar assigns -o d0b14e8d531321fb4632676acf843456 72c152ce14d2a7aa3babf084b74dd8be c676fed4ac4d52223d675cc9787026cf 67e059440b1413d2c57490334daae159 6ca9c07a4ab13f3c146227ce351e4a2e b73ad6b86ce96ad71fbecac7008ff19d 65dd27d0e33fca79c510585bb158e60e dcc07bb73e478f8ee3c363ad810e6830 75241ce8227bf0ea423bf754ec0415e8

        5.3 问题3：Master is initializing

        问题表现：

  • hbase shell命令行里，执行list卡死；
  • master节点日志里，提示：

hbase:meta,,1.1588230740 is NOT online; state={1588230740 state=OPEN, ts=1665392578303, server=xcloud155,16020,1665108323474}; ServerCrashProcedures=false. Master startup cannot progress, in holding-pattern until region onlined.

  • hbase hbck -detail 校验，提示：

ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

修复步骤一：

        网上查询资料，提到可能是时间不同步导致的，查看后发现hbase集群的时间的确不同步，依次执行以下命令同步时间：

yum install -y chrony

systemctl start chronyd

systemctl enable chronyd

vim /etc/chrony.conf

修改后：

systemctl restart chronyd.service

chronyc sources -v  同步时间

同步时间后，重启hbase发现问题依旧存在，继续执行修复步骤二。

备注：Chrony是一个开源自由的网络时间协议 NTP 的客户端和服务器软软件。如果已经按照，可以直接同步时间。

修复步骤二：

在hbase-site.xml文件中，添加如下配置，并重启hbase。

重启后，hbase依然存在问题，表现如下：

  1. hbase shell命令行里，执行list可查看命名空间及表，但scan 查看表数据，提示表不存在。
  2. hbase的表数据实际存储在hdfs中，查看hdfs文件系统，发现数据还在

  1. 执行scan 'hbase:meta'，可查看元数据表信息
  2. 执行scan ‘hbase：namespace’，提示表不存在
  3. master节点日志里，提示：

java.lang.IllegalStateException: Expected the service ClusterSchemaServiceImpl [FAILED] to be RUNNING, but the service has FAILED

    at org.apache.hbase.thirdparty.com.google.common.util.concurrent.AbstractService.checkCurrentState(AbstractService.java:379)

    at org.apache.hbase.thirdparty.com.google.common.util.concurrent.AbstractService.awaitRunning(AbstractService.java:319)

    at org.apache.hadoop.hbase.master.HMaster.initClusterSchemaService(HMaster.java:1317)

    at org.apache.hadoop.hbase.master.HMaster.finishActiveMasterInitialization(HMaster.java:1048)

    at org.apache.hadoop.hbase.master.HMaster.startActiveMasterManager(HMaster.java:2177)

    at org.apache.hadoop.hbase.master.HMaster.lambda$run$0(HMaster.java:509)

    at java.lang.Thread.run(Thread.java:748)

Caused by: java.io.IOException: Timedout 300000ms waiting for namespace table to be assigned and enabled: tableName=hbase:namespace, state=ENABLED

    at org.apache.hadoop.hbase.master.TableNamespaceManager.start(TableNamespaceManager.java:107)

    at org.apache.hadoop.hbase.master.ClusterSchemaServiceImpl.doStart(ClusterSchemaServiceImpl.java:63)

    at org.apache.hbase.thirdparty.com.google.common.util.concurrent.AbstractService.startAsync(AbstractService.java:249)

    at org.apache.hadoop.hbase.master.HMaster.initClusterSchemaService(HMaster.java:1315)

修复步骤三：

        根据以上表现，猜测hbase:meta因为某些原因丢失一些region的信息，这个时候可以使用hbck2的addFsRegionsMissingInMeta 进行修复，该命令会扫描hdfs中Region目录的region_info的信息并根据该信息进行region重建，最后在运行该命令输出的assign命令进行重新分配

        在hbase/bin目录下执行命令：

./hbase hbck -j /xcloud/hbase/operator/hbase-hbck2-1.2.0-SNAPSHOT.jar addFsRegionsMissingInMeta hbase:namespace

        返回结果：

        按返回结果的提示，在hbase/bin目录下，重启master节点，并重新分配region，命令：

./hbase-daemon.sh restart master

./hbase hbck -j /xcloud/hbase/operator/hbase-hbck2-1.2.0-SNAPSHOT.jar assigns 8917a5cfa9183f7ca7da0c052138b177

        修复成功！        

        HBCK2参考资料：https://zhuanlan.zhihu.com/p/373957937

大数据平台XSailboat简介_OkGogooXSailboat的博客-CSDN博客

yujianbujianqwe
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hbase伪分布部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-26 3119
本实验任务主要完成基于ubuntu环境的Hbase伪分布部署的工作。通过完成本实验任务，要求学生熟练掌握Hbase伪分布部署的方法，为后续实验的开展奠定Hbase平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Hbase伪分布部署Ubuntu、Hadoop2.7.3、Hbase1.2.6Hbase是一个分布式的、面向列的开源数据库，该技术来源于Chang et al所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统“。就像Bigtab
HBase 集群部署与启动
my_study_notes的博客
10-03 2907
HBase 集群部署与启动
Hbase部署（单机模式）安装详细流程
Jayden的博客
02-19 5704
Hbase的名字的来源是Hadoop database，即hadoop数据库，Hbase是大数据行业十分常见的工具之一，但是一开始的安装就让许多人望而却步，接下来我将手把手教大家安装hbase
2024年最全【hadoop】hbase的安装部署以及相关操作（图文详解）_hbase安装，字节跳动+京东+美团+腾讯面试总结
2401_84182146的博客
05-14 1814
例如，要表示hdfs中的’/hbase’目录，namenode 运行在namenode.example.org的9090端口。因为HBase依赖于Hadoop的分布式文件系统HDFS和资源管理框架YARN，而且HBase的各个版本都会对Hadoop的版本有一定的要求。在Zookeeper中，需要配置Zookeeper集群，以支持HBase的分布式环境下的协调和管理。HBase的运行模式。进入hbase配置文件路径，编辑hbase-env.sh配置文件，然后把以下圈起来的两行给注释掉，就不会报错了。
HBase部署流程
Great_Smile的专栏
03-24 386
一、版本号 1.1.1 二、安装路径 /mnt/hadoop/hbase-1.3.1 三、先决条件 Java、Hadoop环境正常运行 四、 部署步骤 4.1. 编辑/mnt/hadoop/hbase-1.3.1/conf/hbase-env.sh #配置JAVA_HOME export JAVA_HOME=/mnt/jdk/jdk1.7.0_80 4.2. 编辑/mn...
Hive整合HBASE部署流程
Great_Smile的专栏
03-24 735
一、 版本号 2.1.1 二、安装目录 /mnt/hadoop/hive-2.1.1 三、 先决条件 Java环境、Hadoop环境、HBase环境（如果需要读/写HBase的数据表）正常运行 四、部署步骤 1、配置环境变量 /etc/profile export HIVE_HOME=/mnt/hadoop/hive-2.1.1 export PATH=$PATH:$HIVE...
大数据hbase安装流程
weixin_43813200的博客
10-25 251
hbase 安装使用前提1.hbase下载 并解压2.修改hbase配置2.1修改hbase环境变量2.2.修改hbase-site.xml2.3.修改regionservers2.4.添加备用节点2.5.拷贝hadoop配置 ./ 即 /opt/bdsp/hbase3.分发到其他节点4.修改环境变量4.1重载环境变量5.分发并重载环境变量 使用前提 - hbase 和 hadoop 的绝对路径为 /opt/bdsp/ - zookeeper已经安装，若没有安装，请调整hbase环境变量HBASE_MANA
HBase部署与使用
趣学程序
05-30 1409
HBase部署与使用 概述 HBase的角色 HMaster 功能： 监控RegionServer 处理RegionServer故障转移 处理元数据的变更 处理region的分配或移除 在空闲时间进行数据的负载均衡 通过Zookeeper发布自己的位置给客户端 RegionServer 功能： 负责存储HBase的实际数据 处理分配个他的Region 刷新缓存到HDFS 维护HLog 执行压...
Hbase详细的安装流程
zhusiqing6的博客
06-02 143
安装准备： hbase底层数据存储在 hdfs的 计算 依赖于 mapreduce的 依赖于zk做协调服务 hadoop zookeeper jdk 安装节点： 分布式的 架构 主从 一主多从 多主多从 对zk的依赖性很强 正常部署集群的时候 zookeeper单独独立出来 2主（高可用） 3从 集群规划： hdp01 hdp02 hdp03 master m...
10分钟入门HBase特性与安装部署
搞数据
01-02 619
1）HBase是BigTable的开源java版本。是建立在HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写NoSQL的数据库系统2）HBase仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务3）主要用来存储结构化和半结构化的松散数据4）Hbase查询数据功能很简单，不支持join等复杂操作，不支持复杂的事务（行级的事务）5）Hbase中支持的数据类型：byte[]6）Hbase支持横向扩展，即增加服务器达到增加存储和处理能力大，可以存上十亿行，上百万列。
Hbase安装部署步骤截图
08-16
根据提供的文件信息，以下是对HBase安装部署过程的详细知识点解析： ### HBase安装部署步骤 #### 一、上传并解压HBase安装包 - **上传安装包**：首先需要将HBase的安装包上传至每台服务器，并在服务器上进行解压...
Hbase数据库在Hadoop上的部署详细过程
02-02
"Hbase数据库在Hadoop上的部署详细过程" HBase 是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google 论文”Bigtable：一个结构化数据的分布式存储系统“。HBase 不同于一般的关系数据库，...
hbase系统搭建与部署
09-27
#### 二、HBase系统搭建与部署流程 ##### 2.1 准备阶段 **2.1.1 开源社区版本下载** HBase可以从Apache官方网站下载开源社区版本，地址为：[http://hbase.apache.org/](http://hbase.apache.org/)。该版本通常包含...
CDH部署流程
09-25
cdh，hbase,安装部署流程 安装文档，部署流程
hadoop+hbase+zookeeper集群配置流程及文件
08-28
提供的文档`hadoop_zookeeper_hbase集群配置.docx`应包含详细的步骤和配置示例，而`配置文件.rar`则可能包含了预设的配置模板，可以作为配置参考。在实际操作时，务必根据具体环境调整配置，确保所有节点之间的网络...
Hadoop、Hive、HBase、数据集成、Scala阶段测试
m0_58050808的博客
07-24 1223
ResourceManager 是 YARN 架构中的核心组件之一，负责接收客户端提交的作业（如 MapReduce 任务、Spark 任务等），并为这些作业分配资源（如内存、CPU）以在集群中的 NodeManager 上执行。spark的任务调度流程：driver端，遇到action算子触发任务执行，将任务提交到有向无环图，DAGscheduler中，根据RDD的血缘关系划分划分stage，将RDD中的分区封装成taskset任务，发送到TASKscheduler。
Apache2 Ubuntu-XXE漏洞渗透
最新发布
weixin_53736204的博客
07-25 508
只知道他在192.168.30.1-192.168.255之间，然后御剑2014端口扫描去扫描IP，发现IP为192.168.30.128是有响应。因为我们用的net模式，我们可以在本机通过ip来访问他的网站，但我们不知道他分配是哪个ip。打开robots.txt看看有什么东西，看见有/xxe目录，还有给admin.php。解码后，发现用户名密码，用户名：administhebest，密码是加密过的。我们构造xxe语句将&xxe;我们试一下xxe发现发现一个新网页，是/xxe/index.php。
Linux基础命令
weixin_68540670的博客
07-25 1601
Linux中一切从根开始Linux中一切皆文件。
掌握HBase应用开发：场景、流程与实战指南
学习本课程后，学员将能够熟悉整个HBase应用开发流程，包括需求分析、设计阶段（表结构设计）、编码实现（使用HBase API）、测试与优化，直至部署和监控应用程序的性能。 3. 案例分析： 课程会通过具体案例来演示...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值