记一次 Centos7.6 基于 Hadoop3.x 集群部署 HBase 2.4.0 集群

最新推荐文章于 2023-08-29 09:11:42 发布
置顶 最新推荐文章于 2023-08-29 09:11:42 发布
阅读量2.1k 收藏 13
点赞数 5
分类专栏： Hbase Zookeeper Linux-Centos x.x 文章标签： hbase 大数据 经验分享 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/llwy1428/article/details/111658309
版权

一、基本信息

官网 http://hbase.apache.org/
官方文档 http://hbase.apache.org/book.html#arch.overview
w3cschool https://www.w3cschool.cn/hbase_doc/
易佰教程 https://www.yiibai.com/hbase
Hbase 版本与 Hadoop 的兼容性
在这里插入图片描述

二、基础环境准备

1、Hadoop 完全分布式搭建
2、启动 hdfs 服务

[root@master ~]# /usr/bigdata/hadoop-3.3.0/sbin/start-dfs.sh

3、安装部署 Zookeeper 3.6.2 集群
4、启动各节点的 zkServer 服务

[root@slave1 ~]# /usr/bigdata/apache-zookeeper-3.6.2-bin/bin/zkServer.sh start
[root@slave2 ~]# /usr/bigdata/apache-zookeeper-3.6.2-bin/bin/zkServer.sh start
[root@slave3 ~]# /usr/bigdata/apache-zookeeper-3.6.2-bin/bin/zkServer.sh start

三、Hbase 安装部署

1、在 master 节点下载 hbase 安装包文件

[root@master ~]# wget -P /usr/bigdata/ https://mirror.bit.edu.cn/apache/hbase/2.4.0/hbase-2.4.0-bin.tar.gz

效果如下
在这里插入图片描述
2、进入文件下载目录

[root@master ~]# cd /usr/bigdata/

3、解压文件

[root@master bigdata]# tar zxf hbase-2.4.0-bin.tar.gz

4、查看目录

[root@master bigdata]# ll

效果如下
在这里插入图片描述
5、进入 hbase 的配置文件目录

[root@master ~]# cd /usr/bigdata/hbase-2.4.0/conf

查看目录
在这里插入图片描述
6、编辑文件 hbase-env.sh

[root@master conf]# vim hbase-env.sh

编辑文件

export JAVA_HOME="/usr/lib/jvm/java-1.8.0"
export HBASE_PID_DIR="/usr/bigdata/hbase-2.4.0/"
export HBASE_MANAGES_ZK=false

7、编辑文件 regionservers
官网说明
在这里插入图片描述

[root@master conf]# vim regionservers

编辑内容

slave1
slave2
slave3

8、编辑文件 backup-masters
官网说明
在这里插入图片描述

[root@master conf]# vim backup-masters

编辑内容

slave1

9、创建目录

[root@master ~]# mkdir /usr/bigdata/hbase-2.4.0/tmp

10、编辑文件 hbase-site.xml

[root@master conf]# vim hbase-site.xml

编辑内容

<configuration>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <!-- 设置HRegionServers共享目录 -->
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:9820/hbase</value>
  </property>
  <!-- 指定Zookeeper集群位置 -->
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>slave1:2181,slave2:2181,slave3:2181</value>
  </property>
  <!-- 指定独立Zookeeper安装路径 -->
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/usr/bigdata/apache-zookeeper-3.6.2-bin</value>
  </property>
  <!-- 指定ZooKeeper集群端口 -->
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>/usr/bigdata/hbase-2.4.0/tmp/</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <property>
    <name>dfs.datanode.max.transfer.threads</name>
    <value>4096</value>
  </property>
  <!-- 文件异步读写配置 -->
  <property>
    <name>hbase.wal.provider</name>
    <value>filesystem</value>
  </property>
</configuration>

11、把hadoop下的 hdfs-site.xml 文件拷贝到 /usr/bigdata/hbase-2.4.0/conf 目录下
官网说明
在这里插入图片描述

[root@master ~]# cp /usr/bigdata/hadoop-3.3.0/etc/hadoop/hdfs-site.xml /usr/bigdata/hbase-2.4.0/conf/

12、把配置好的 hbase 文件信息发售给集群的 hbase 子节点

[root@master ~]# scp -r /usr/bigdata/hbase-2.4.0 root@slave1:/usr/bigdata/
[root@master ~]# scp -r /usr/bigdata/hbase-2.4.0 root@slave2:/usr/bigdata/
[root@master ~]# scp -r /usr/bigdata/hbase-2.4.0 root@slave3:/usr/bigdata/

13、编辑系统环境变量

[root@master ~]# vim /etc/profile

14、编辑内容

export JAVA_HOME="/usr/lib/jvm/java-1.8.0"
export JRE_HOME="/usr/lib/jvm/java-1.8.0/jre"
export HADOOP_HOME="/usr/bigdata/hadoop-3.3.0"
export HBASE_HOME="/usr/bigdata/hbase-2.4.0"

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/common/lib/*:$HBASE_HOME/lib

export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

15、时配置后的环境变量生效

[root@master ~]# source /etc/profile

16、查看 hbase 的 bin 目录

[root@master ~]# cd /usr/bigdata/hbase-2.4.0/bin

bin 目录文件列表如下
在这里插入图片描述
17、启动 hbase 服务

[root@master ~]# /usr/bigdata/hbase-2.4.0/bin/start-hbase.sh

启动效果如下
在这里插入图片描述
18、查看各个节点上 hbase 各服务的启动状态
在这里插入图片描述
19、查看服务所占端口

[root@master ~]# netstat -lntp

在这里插入图片描述
20、查看其在 HDFS 中的存储信息

[root@master ~]# hdfs dfs -ls /hbase
或
[root@master ~]# hadoop fs -ls /hbase

存储文件列表如下
在这里插入图片描述
21、在任一节点 运行 hbase shell

[root@slave1 ~]# hbase shell

如下图
在这里插入图片描述
22、停止 hbase 服务

[root@master ~]# /usr/bigdata/hbase-2.4.0/bin/stop-hbase.sh

在这里插入图片描述

四、Hbase 基本命令

hbase:001:0> list
TABLE                                                                                                                                                                          
0 row(s)
Took 0.5481 seconds                                                                                                                                                            
=> []
hbase:002:0> create 'hbase_test','f1'
Created table hbase_test
Took 2.2060 seconds                                                                                                                                                            
=> Hbase::Table - hbase_test
hbase:003:0> list
TABLE                                                                                                                                                                          
hbase_test                                                                                                                                                                     
1 row(s)
Took 0.0107 seconds                                                                                                                                                            
=> ["hbase_test"]
hbase:004:0> create 'my_hbase_test','f1'
Created table my_hbase_test
Took 1.1406 seconds                                                                                                                                                            
=> Hbase::Table - my_hbase_test
hbase:005:0> list
TABLE                                                                                                                                                                          
hbase_test                                                                                                                                                                     
my_hbase_test                                                                                                                                                                  
2 row(s)
Took 0.0088 seconds                                                                                                                                                            
=> ["hbase_test", "my_hbase_test"]
hbase:006:0> describe 'hbase_test'
Table hbase_test is ENABLED                                                                                                                                                    
hbase_test                                                                                                                                                                     
COLUMN FAMILIES DESCRIPTION                                                                                                                                                    
{NAME => 'f1', BLOOMFILTER => 'ROW', IN_MEMORY => 'false', VERSIONS => '1', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', COMPRESSION => 'NONE', TTL => 'FOREVE
R', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}                                                                                 

1 row(s)
Quota is disabled
Took 0.1745 seconds                                                                                                                                                            
hbase:007:0> put 'hbase_test','123','f1:ame','abc'
Took 0.1139 seconds                                                                                                                                                            
hbase:008:0> scan 'hbase_test'
ROW                                          COLUMN+CELL                                                                                                                       
 123                                         column=f1:ame, timestamp=2020-12-26T01:04:30.178, value=abc                                                                       
1 row(s)
Took 0.0279 seconds

删除表，需先禁用表后，再执行对表的删除操作
disable ‘hbase_test’
drop ‘hbase_test’

五、浏览器查看服务的 WEB

Hbase master 节点的默认端口是 16000
官网
在这里插入图片描述

浏览器录入地址 http://192.168.11.21:16010/ 说明：192.168.11.21 是 master 节点的 IP
效果如下
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

六、报错及解决方案

启动 hbase 服务或者运行hbase shell命令的时候如果有如下报错
在这里插入图片描述
其原因可能有两种
1、hadoop 的 hdfs 启动状态为安全模式
hadoop 的 hdfs 启动状态为安全模式的解决方案
查看安全模式状态

[root@master ~]# hadoop dfsadmin -safemode get

状态结果

Safe mode is ON    （安全模式已开启）
Safe mode is OFF   （安全模式已关闭）

关闭安全模式

[root@master ~]# hadoop dfsadmin -safemode leave
或
[root@master ~]# dhfs dfsadmin -safemode leave

重启各节点 Hbase 相关服务。

2、缺少 “文件异步读写配置” 的配置信息
查找日志信息

[root@master ~]# cat /usr/bigdata/hbase-2.4.0/logs/hbase-root-master-master.log

发现以下问题
在这里插入图片描述
编辑配置文件

[root@master ~]# vim /usr/bigdata/hbase-2.4.0/conf/hbase-site.xml

增加配置信息

<property>
  <name>hbase.wal.provider</name>
  <value>filesystem</value>
</property>

重启各节点 Hbase 相关服务。

参考：
https://blog.csdn.net/kadwf123/article/details/102343591
https://cloud.tencent.com/developer/article/1182109

七、扩展

入门
https://www.jianshu.com/p/b23800d9b227
讲解
https://blog.csdn.net/lukabruce/article/details/80624619

至此，Centos7.6 基于 Hadoop3.x 集群部署 HBase 2.4.0 集群操作完毕，希望能够对您有所帮助！

一花一世界~
关注
专栏目录
Centos7+Hadoop2.7.7+Hive2.3.0+Hbase2.0.2+spark2.4+zookeeper3.4.10搭建分布式大数据集群
u012893747的博客
12-03 4009
虚拟机准备3台，分别是hadoop01 hadoop02 hadoop03，所装系统为centos7 一、机器基础配置（所有机器） 1.修改主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop01 NETWORKING_IPV6=no PEERNTP=no vim /etc/hostname hadoop01 2.主...
centos7 搭建hadoop集群 zookeeper Hbase集群
Justdoforever的博客
06-09 435
集群规划： 主机名 IP 安装的软件 master 192.168.1.201 jdk、hadoop、zookeeper slave1 192.168.1.202 jdk、hadoop、zookeeper slave2 192.168.1.203 jdk、hadoop、zookeeper 先在master上安装jdk（建议非...
ros_melodic_install.sh
04-04
Ubuntu18.04安装ROS及其环境配置—— 参考连接：http://wiki.ros.org/cn/ROS/Tutorials/InstallingandConfiguringROSEnvironment
ROS melodic 安装/卸载&常用命令及使用-ubuntu18.04
weixin_41469272的博客
04-03 1万+
文章目录ROSROS安装配置环境变量ROS测试ros server启动package 包管理node 节点管理编译topic 消息管理service 服务管理bag使用message管理parameter 参数管理卸载 ROS 古月居 · ROS入门21讲：https://www.bilibili.com/video/BV1zt411G7Vn?p=1 古月居 · 对应代码：https://gith...
Ubuntu 18.04安装ROS
weixin_45393946的博客
11-09 436
1.换源 sudo sh -c '. /etc/lsb-release && echo "deb http://mirrors.tuna.tsinghua.edu.cn/ros/ubuntu/ $DISTRIB_CODENAME main" > /etc/apt/sources.list.d/ros-latest.list' 2.设置密钥 sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys F42ED6FBAB
安装ROS（Melodic版本）
ilovejlu的博客
09-29 856
Ubuntu18.04安装ROS（Melodic）
ubuntu安装ROS(1) —— 以 ROS1 melodic 为例(最新、超详细图文教程，包含配置rosdep)
热门推荐
weixin_55944949的博客
05-03 1万+
ROS 是一个适用于机器人的开源的元操作系统。此教程以Ubuntu 18.04为例，安装配置ROS Melodic。
centos7配置jdk，zk，hadoop，hive，hbase
qq_45886095的博客
05-20 219
全流程 2组件配置与Hadoop，Hbase 2.1基础环境配置 1.关闭防火墙 命令同时 systemctl stop firewalld systemctl status firewalld 2.安装ntp 命令同时 yum -y install ntp 3.host配置 键盘同时 hostnamectl set-hostname master hostnamectl set-hostname slave1 hostnamectl set-hostname sl
Hadoop + hbase + Zookeeper + spark + scala 集群搭建
Ray_liusl的博客
06-13 615
在学习大数据过程中，搭建环境笔记： 1.装载3个vm  master、slave1、slave2（CentOS6.4 64位） 2.（所有 root用户）新建用户/密码 hadoop/hadoop123 3.（所有 root用户）修改主机名称 $ vi /etc/sysconfig/network ETWORKING=yes HOSTNAME=master ETWOR
spark将数据写入hbase以及从hbase读取数据
jin6872115的博客
05-21 8578
1、spark如何利用saveAsHadoopDataset和saveAsNewAPIHadoopDataset将RDD写入hbase2、spark从hbase中读取数据并转化为RDD操作方式为在eclipse本地运行spark连接到远程的hbase。java版本：1.7.0scala版本：2.10.4zookeeper版本：3.4.5（禁用了hbase自带zookeeper，选择自己部署的）ha...
ROS Melodic 安装
最新发布
zhao_hong_liang的博客
08-29 1900
ros
ROS1系列（一） Melodic安装
万法自然的博客
11-09 4251
中文链接 英文链接 2、Set up your keys 3、Installation Desktop-Full Install: (Recommended) : ROS, rqt, rviz, robot-generic libraries, 2D/3D simulators and 2D/3D perception 4、Environment setup If you just want to change the environment of your current shell, instea
各种各样的笔记02——ROS melodic版本安装
m0_57038303的博客
09-29 1388
ROS melodic版本安装
ROS-melodic 安装
沉潜
02-26 270
注意：针对不同的Ubuntu发行版安装不同的ROS发行版，具体的对应关系见中文官方 wiki。 安装： 中文ros wiki安装过程重要：rosdep init 错误的解决方法 一些注意事项： 安装ros-melodic-desktop-full时有可能会出现安装不全的情况，可以多执行几次安装命令。 rosdep init时可能会提示rosdep未安装，按照说明直接安装即可。 简单查阅了一些资...
ROS Melodic安装教程
MAVER1CK的博客
12-23 2272
在Ubuntu18.04上安装ROS Melodic 一、换源 换成国内源 二、安装Melodic 中科大源 配置ROS软件源（） sudo sh -c 'echo "deb https://mirrors.ustc.edu.cn/ros/ubuntu $(lsb_release -sc) main" > /etc/apt/sources.list.d/ros-latest.list' 配置密钥 sudo apt-key adv --keyserver 'hkp://keyserver.ub
ROS学习笔记（一）——ROS Melodic的安装
weixin_43793717的博客
05-09 4895
ROS Melodic的完整的安装过程！安装过程中踩过很多坑都来看看！
ROS安装（Ubuntu18.04 melodic）
dongliu2236的博客
07-22 5292
ROS安装（Ubuntu18.04 melodic）
Ubuntu18.04 install of ROS Melodic
weixin_39960014的博客
07-21 638
1 Installation 1.1 Configure your Ubuntu repositories 1.2 Setup your sources.list $    sudo sh -c 'echo "deb http://packages.ros.org/ros/ubuntu $(lsb_release -sc) main" &gt; /etc/apt/   sources.list.d...
ros(Melodic)记录
诺有缸的高飞鸟的博客
06-10 1298
1、本文内容 ros入门基础 2、平台 windows10, vmware workstation, ubuntu1804
腾讯云上搭建Hadoop3.x伪集群详细教程
"本文将详述如何在腾讯云上搭建Hadoop 3.x伪集群，适合初学者和有经验的IT专业人士，通过实践步骤和示例代码进行详细讲解，旨在提高学习和工作的效率。" 在腾讯云上搭建Hadoop 3.x伪集群是一项重要的任务，尤其对于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值