HBase部署踩坑

最新推荐文章于 2023-05-17 00:00:16 发布
最新推荐文章于 2023-05-17 00:00:16 发布
阅读量211 收藏
点赞数
分类专栏： bug 文章标签： hbase hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40856560/article/details/113529994
版权
本文解决了一个HBase 2.0.6版本中HMaster进程启动后自动挂掉的问题。该问题源于Hadoop 3.1.1版本不支持HBase所需的hsync功能。通过修改hbase-site.xml配置文件中的hbase.unsafe.stream.capability.enforce参数为false，成功解决了此问题。
摘要由CSDN通过智能技术生成

1.HMaster自动挂掉

版本如下

  • HBase2.0.6
  • Hadoop3.1.1

HBase启动后不久，HMaster进程自动挂掉，查看HBase的日志发现如下问题

cat /opt/hbase-2.0.6/logs/hbase-root-master-node-1.log


Hbase需要底层文件系统支持hsync功能，但是底层文件系统不支持hsync功能。之前Hadoop2.x就没有这样的问题，可能是Hadoop的版本过高导致的问题，修改hbase-site.xml文件配置，即可解决。

vi /opt/hbase-2.0.6/conf/hbase-site.xml

<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>

修改配置之后重启HBase集群
在这里插入图片描述

Hbase 安装搭建并部署 还有可能遇到的坑
AceCream的博客
09-21 371
1.前提条件： JDK1.8 Hadoop 2.7 以上版本部署完毕 2.安装Hbase 在官网下载安装包，推荐1.x版本的Hbase，比较稳定，而且可以适配Kylin。目前Kylin不支持2.x的Hbase 下载好拷贝到自己的软件目录 我的是 /opt/soft/ 执行 tar -zxvf解压hbase的tar包 然后执行 chown - R alone:root hbase目录 给当前用...
HBase编程实践
qq_50917794的博客
10-11 1098
HBase编程实践一、HBase 2.2.2安装二、HBase配置伪分布式模式配置三、HBase编程实践利用Shell命令HBase Java API编程实践 一、HBase 2.2.2安装 1.1解压安装包hbase-2.2.2-bin.tar.gz至路径 /usr/local，命令如下： 1.2 将解压的文件名hbase-2.2.2改为hbase，以方便使用，命令如下： cd /usr/local sudo mv ./hbase-2.2.2 ./hbase 下面把hbase目录权限赋予给hadoop用
hbase 搭建遇到的问题
Candy_61的专栏
10-09 643
搭建hbase的时候遇到这个问题 org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed setting up proxy interface org.apache.hadoop.hbase.ipc.HRegionInterface to localhost/127.0.0.1:33446 after attempts=1
搭建 hbase 遇到的各种问题
weixin_30540691的博客
12-29 162
所有问题归根到底都是hadoop与hbase的版本不匹配的问题！！！ 最后经验证hadoop 2.8.4 hbase 2.0.3 没有问题（但是hbase2.0.3使用的java接口，有些class过时（比如：HbaseAdmin、HTable）没有想要的方法对应，为此暂时使用1.3.2） 在搭hbase的集群，由于rootdir 保存在hdfs://上，在调整版本的时候一定要...
hadoop环境搭建hbase的一些问题
Losteng的博客
06-30 814
最近在学习hadoop的相关的工具，首先从环境入手，发现一些在搭建过程中遇到的一些问题，现在总结一下。 1，hadoop的hdfs的问题，主要是进行多次格式化造成的 dfs的data，中的version与dfs的name中的version的clusterID不一致，造成datanode或者namenode启动异常。 这种问题的解决方法主要是可以将clusterID复制到对应的节点的v
Hbase踩坑记录
qq_34137395的博客
11-08 1695
  问题1： 今天一个项目在腾讯云环境部署，用到ZK+Hbase+Hadoop+storm，部署完之后，启动工程遇到如下日志： Caused by: java.net.SocketTimeoutException: callTimeout=60000, callDuration=68737: row 'business_new_info_exd,,' on table 'hbase:meta...
Hbase安装流程及踩坑心得
Ally_one的博客
07-19 1673
关于安装zookeeper和hbase 前言 网上已经有相当多的zookeeper和hbase的安装教程了。那为什么总是在安装的时候，还是可以遇到那么多问题。 有话说 搭建一个自己的大数据平台，手把手安装大数据相关组件，从组件的版本匹配，组件源下载，再到着手解压配置。一个环境搭建下来，我发现我可能需要浏览数几十个页面，才能真的完成我的搭建流程。鉴于之前在学习的过程中，曾经给一位朋友写了一份非常详细的hadoop集群搭建的说明书。记录一下这一次在从最基础的hadoop集群搭建，到各个组件的安装配置。由于精
【HBase之轨迹】（1）使用 Docker 搭建 HBase 集群
Ice__Clean的博客
02-22 3483
继 hadoop 和 zookeeper 之后，再次使用 docker 搭建 hbase 集群，详细说明搭建过程以及 docker 搭建过程中会才踩到的坑。同时
Pinpoint部署和踩坑记录
热门推荐
宝罗Paul 的博客
05-29 1万+
pinpoint是韩国人开源的 APM (Application Performance Management/应用性能管理)工具 - Pinpoint。它基于google Dapper开发，目标就是为n(n>=1)层架构开发新的跟踪平台，为n层架构的系统提供解决方案。pinpoint能够对基于java的大规模分布式系统和应用做调用链的跟踪。pinpoint提供了一个web页面展示分布式系统...
云计算与大数据实验七 HBase的安装与基本操作
qq_64314976的博客
12-31 1905
非常消耗资源，所以你在长时间没使用命令行后台会回收资源，如果你想保持环境不被注销，请在弹出延时窗口时点击延时，并且保持操作命令行，这样可以保持你的环境一直持续。要新建一个表，首先必须要给它起个名字，并为其定义模式，一个表的模式包含表的属性和列族的列表。的安装也分为三种，单机版、伪分布式、分布式；当然我们肯定还会有一个需求：查看所有的数据。不改这个配置，数据会在重启的时候丢失；有时候我们还想将创建好的表删除，怎么做呢？需要是'完全正确'的，还要包含文件系统的。现在，我们来创建一个简单的表。
自学大数据第十一天~Hbase
Gavin
03-28 625
通过这种方式实现的工具主要有 Hindex(华为开发); 专门针对Hbase数据库开发,支持多个表的索引也支持多个列的索引,也支持基于部分列值的索引; 但是这会对机器的性能带来影响,每插入一条数据,就会向索引表插入数据,这回加大对IO的消耗;
Hadoop之Hbase的配置（详细步骤）
大数据
11-03 5852
前期准备 将 hadoop-2.7.6.tar.gz压缩包上传到xshell并解压 解压命令 tar -zxvfhadoop-2.7.6.tar.gz tar -zxvfhadoop-2.7.6.tar.gz 配置 1、配置 hbase-env.sh vim hbase-env.sh 在文件最后面增加 export JAVA_HOME=/home/ZQ/jdk1.8.0_271 export HBASE_MANAGES_ZK=true 2、配置 hbase-site.x..
HBase的完全分布式的安装
我是泛滥
03-03 398
安装步骤： 一、上传解压 tar -zxf hbase-2.0.1-hadoop1-bin.tar.gz -C /opt/app/ 二、设置全局设置环境变量 vim /etc/profile #每台都配置，生效 export HBASE_HOME=/app/hbase-2.0.1 export PATH=$PATH:$HBASE_HOME/bin 然后使用source /etc/prof...
hbase官方网站声称的兼容是否是100%兼容？
微电子学与固体电子学-俞驰
05-20 481
根据[1]中的兼容矩阵，如下: 我们采用 hadoop3.1.2 hbase2.2.4 进行测试 $HBASE_HOME/logs/hbase-appleyuchi-master-Desktop.log 报错: desired level of robustness and ensure the config value of 'hbase.wal.dir' points to a FileSystem mount that can provide it. at org.apac...
HBase无法启动的相关问题
最新发布
算法与编程之美
05-17 704
1 问题VMWare下centos7在下载好HBase并解压配置环境后运行jps后缺少HMaster在确定安装和环境配置上没问题后开始逐渐查找问题2 方法开始排查后发现是hbase-site.xml文件里的配置有问题。Hbase.cluster.distributed标签设置是否是分布式安装，我安装采用的是伪分布式安装，那参数的值应该为true，而hbase.unsafe.stream.capab...
HBase 系列（三）—— HBase基本环境搭建
黑白影的博客
06-07 424
一、安装前置条件说明 1.1 JDK版本说明 HBase 需要依赖JDK环境，同时HBase 2.0+ 以上版本不再支持JDK 1.7 ，需要安装JDK 1.8+ 。JDK 安装方式见本仓库： Linux环境下JDK安装 1.2 Standalone模式和伪集群模式的区别 在Standalone模式下，所有守护进程都运行在一个jvm进程/实例中； 在伪分布模式下，HBase仍然在单个主机上运...
HBase的本地模式的安装和HBase的简单介绍
枣泥馅的博客
04-14 1356
HBase是基于Hdfs的，因为hadoop的本地模式或者是单机模式没有hdfs功能的，所以单机版的HBase数据不能存储在Hdfs上，只能存在linux上，所以单机版的HBase不需要启动Hadoop，单机版Base中只有HMaster HBase的 HBase：基于HDFS之上的NoSQL，存储单点故障 HBase ...
HBase高可用集群踩坑总结以及hbase-site.xml配置文件分享
liuliulz09的博客
05-22 4725
HBase高可用集群踩坑总结 最近在搭建HBase的高可用集群，看似不复杂的事情，前前后后在HMaster启动后会自动关闭（Master is initializing) 这件事上处理了好久。 究其原因一个是HBase集群中会出现的问题比较多，问题堆在一起的时候，刚开始接触HBase的朋友确不容易发现真正的问题在哪里，还有就是自己还是有点懒了，没有好好地去读官方的说明文档，其实官网上对一些参数的配置讲解的还是比较详细的。 下面总结一下这几天从入门到放弃到搭建成功踩过的一些坑。 注意： 我的这些方法比较适用于
超详细的HBASE的安装配置教程（亲测有用）
qq_45973003的博客
07-09 2636
第一步：使用文件传输工具将下载好的hbase的包传输到虚拟机 没有安装包的可以访问hbase的官网进行下载 http://hbase.apache.org/ 第二步：解压hbase的压缩包 命令：tar -zxvf hbase-1.3.0-bin.tar.gz 第三步：配置环境变量 命令：vim /etc.profile 在配置文件的最后添加 #hbase export HBASE_HOME=/usr/local/hbase-1.3.0 hbase的安装路径 export PATDH=$PATH:$
Hadoop与HBase部署详解：三主机环境配置教程
本文档详细介绍了如何在Hadoop和HBase平台上进行部署，针对Hadoop部分，重点在于构建一个可靠的分布式存储系统，包括HDFS和MapReduce组件。Hadoop的核心在于其容错性和大数据处理能力，通过在多台廉价硬件上复制数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小宇0926

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值