Hadoop 之 Hbase 配置与使用（四）

已于 2023-07-26 02:34:07 修改
阅读量4.2k 收藏 16
点赞数 2
分类专栏： Hadoop 文章标签： hadoop hbase bigdate hdfs zookeeper
于 2023-07-26 02:10:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42176639/article/details/131796472
版权

Hadoop 之 Hbase 配置与使用

一.Hbase 下载

HBase 是一个分布式的、面向列的开源数据库：Hbase API

1.Hbase 下载

Hbase 下载

在这里插入图片描述

跳转到下载链接

在这里插入图片描述

二.Hbase 配置

1.单机部署

## 1.创建安装目录
mkdir -p /usr/local/hbase
## 2.将压缩包拷贝到虚拟机并解压缩
tar zxvf hbase-3.0.0-alpha-4-bin.tar.gz -C /usr/local/hbase/
## 3.添加环境变量
echo 'export HBASE_HOME=/usr/local/hbase/hbase-3.0.0-alpha-4' >> /etc/profile
echo 'export PATH=${HBASE_HOME}/bin:${PATH}' >> /etc/profile
source /etc/profile
## 4.指定 JDK 版本
echo 'export JAVA_HOME=/usr/local/java/jdk-11.0.19' >> $HBASE_HOME/conf/hbase-env.sh
## 5.创建 hbase 存储目录
mkdir -p /home/hbase/data
## 6.修改配置
vim $HBASE_HOME/conf/hbase-site.xml
     添加如下信息
	 <property>
	    <name>hbase.rootdir</name>
	    <value>file:///home/hbase/data</value>
	 </property>

在这里插入图片描述

## 1.进入安装目录
cd $HBASE_HOME
## 2.启动服务
./bin/start-hbase.sh

在这里插入图片描述

## 1.进入安装目录
cd $HBASE_HOME
## 2.关闭服务
./bin/stop-hbase.sh

在这里插入图片描述

2.伪集群部署（基于单机配置）

## 1.修改 hbase-env.sh 
echo 'export JAVA_HOME=/usr/local/java/jdk-11.0.19' >> $HBASE_HOME/conf/hbase-env.sh
echo 'export HBASE_MANAGES_ZK=true' >> $HBASE_HOME/conf/hbase-env.sh
## 2.修改 hbase_site.xml
vim $HBASE_HOME/conf/hbase-site.xml
	 <!-- 将 hbase 数据保存到 hdfs -->
	 <property>
	    <name>hbase.rootdir</name>
	    <value>hdfs://nn/hbase</value>
	 </property>
	 <!-- 分布式配置 -->
	 <property>
	    <name>hbase.cluster.distributed</name>
	    <value>true</value>
	 </property>
	 <!-- 配置 ZK 地址 -->
	 <property>
	    <name>hbase.zookeeper.quorum</name>
	    <value>nn</value>
	 </property>
	 <!-- 配置 JK 地址 -->
	 <property>
	    <name>dfs.replication</name>
	    <value>1</value>
	 </property>
## 3.修改 regionservers 的 localhost 为 nn
echo nn > $HBASE_HOME/conf/regionservers

在这里插入图片描述

## 1.进入安装目录
cd $HADOOP_HOME
## 2.启动 hadoop 服务
./sbin/start-all.sh

在这里插入图片描述

## 1.进入安装目录
cd $HBASE_HOME
## 2.启动服务
./bin/start-hbase.sh

在这里插入图片描述

## 1.进入安装目录
cd $HBASE_HOME
## 2.关闭主节点服务（直接关服务是关不掉的，如图）
. bin/hbase-daemon.sh stop master
## 3.关闭服务
./bin/stop-hbase.sh

在这里插入图片描述

3.集群部署

## 1.创建 zookeeper 数据目录
mkdir -p $HBASE_HOME/zookeeper/data
## 2.进入安装目录
cd $HBASE_HOME/conf
## 3.修改环境配置
vim hbase-env.sh
## 添加 JDK / 启动外置 Zookeeper
	# JDK
	export JAVA_HOME=/usr/local/java/jdk-11.0.19
	# Disable Zookeeper
	export HBASE_MANAGES_ZK=false
## 4.修改 hbase-site.xml
vim hbase-site.xml
## 配置如下信息
	<!--允许的最大同步时钟偏移-->
	<property>
	  <name>hbase.master.maxclockskew</name>`
	  <value>6000</value>
	</property>
	<!--配置 HDFS 存储实例-->
	<property>
	  <name>hbase.rootdir</name>
	  <value>hdfs://nn:9000/hbase</value>
	</property>
	<!--启用分布式配置-->
	<property>
	  <name>hbase.cluster.distributed</name>
	  <value>true</value>
	</property>
	<!--配置 zookeeper 集群节点-->
	<property>
	  <name>hbase.zookeeper.quorum</name>
	  <value>zk1,zk2,zk3</value>
	</property>
	<!--配置 zookeeper 数据目录-->
	<property>
	  <name>hbase.zookeeper.property.dataDir</name>
	  <value>/usr/local/hbase/hbase-3.0.0-alpha-4/zookeeper/data</value>
	</property>
	<!-- Server is not running yet -->
	<property>
      <name>hbase.wal.provider</name>
      <value>filesystem</value>
    </property>
## 5.清空 regionservers 并添加集群节点域名
echo '' > regionservers
echo 'nn' >> regionservers
echo 'nd1' >> regionservers
echo 'nd2' >> regionservers
## 6.分别为 nd1 / nd2 创建 hbase 目录
mkdir -p /usr/local/hbase
## 7.分发 hbase 配置到另外两台虚拟机 nd1 / nd2
scp -r /usr/local/hbase/hbase-3.0.0-alpha-4 root@nd1:/usr/local/hbase
scp -r /usr/local/hbase/hbase-3.0.0-alpha-4 root@nd2:/usr/local/hbase
## 8.分发环境变量配置
scp /etc/profile root@nd1:/etc/profile
scp /etc/profile root@nd2:/etc/profile

1.启动 hadoop 集群

Hadoop 集群搭建参考：Hadoop 搭建

## 1.启动 hadoop
cd $HADOOP_HOME
. sbin/start-all.sh

在这里插入图片描述

## 1.关闭 hadoop 安全模式
hadoop dfsadmin -safemode leave

在这里插入图片描述

2.启动 zookeeper 集群

ZOOKEEPER 集群搭建说明

## 1.启动 zookeeper 集群
zkServer.sh start && ssh root@zk2 "source /etc/profile && zkServer.sh start && exit" && ssh root@zk3 "source /etc/profile && zkServer.sh start && exit"
## 2.查看状态
zkServer.sh status && ssh root@zk2 "source /etc/profile && zkServer.sh status && exit" && ssh root@zk3 "source /etc/profile && zkServer.sh status && exit"

在这里插入图片描述

3.启动 hbase 集群

## 1.分别为 nn /nd1 / nd2 配置 zookeeper 域名解析
echo '192.168.1.100 zk1' >> /etc/hosts
echo '192.168.1.101 zk2' >> /etc/hosts
echo '192.168.1.102 zk3' >> /etc/hosts
## 2.启动 habase
cd $HBASE_HOME
. bin/start-hbase.sh
## 3.停止服务
. bin/hbase-daemon.sh stop master
. bin/hbase-daemon.sh stop regionserver
. bin/stop-hbase.sh

在这里插入图片描述

查看 UI 监控：http://192.168.1.6:16010/master-status

在这里插入图片描述

4.集群启停脚本

#!/bin/bash

case $1 in
"start")
	## start hadoop
	start-all.sh
	## start zookeeper (先配置免密登录)
	zkServer.sh start && ssh root@zk2 "source /etc/profile && zkServer.sh start && exit" && ssh root@zk3 "source /etc/profile && zkServer.sh start && exit"
	## start hbase
	start-hbase.sh
	;;
"stop")
	## stop hbase
	ssh root@nd1 "source /etc/profile && hbase-daemon.sh stop regionserver && stop-hbase.sh && exit"
	ssh root@nd2 "source /etc/profile && hbase-daemon.sh stop regionserver && stop-hbase.sh && exit"
	hbase-daemon.sh stop master  && hbase-daemon.sh stop regionserver && stop-hbase.sh
	## stop zookeeper
	zkServer.sh stop && ssh root@zk2 "source /etc/profile && zkServer.sh stop && exit" && ssh root@zk3 "source /etc/profile && zkServer.sh stop && exit"
	## stop hadoop
	stop-all.sh
	;;
*)
	echo "pls inout start|stop"
	;;
esac

三.测试

## 1.为 Windows 增加 Hosts 配置，添加 Hbase 集群域名解析 编辑如下文件
C:\Windows\System32\drivers\etc\hosts
## 2.增加如下信息
192.168.1.6 nn
192.168.1.7 nd1
192.168.1.8 nd2

测试配置效果

在这里插入图片描述

JDK 版本

在这里插入图片描述

工程结构

在这里插入图片描述

1.Pom 配置

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>hbase-demo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>11</maven.compiler.source>
        <maven.compiler.target>11</maven.compiler.target>
        <spring.version>2.7.8</spring.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <version>${spring.version}</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.28</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>2.0.32</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            &l
最低0.47元/天 解锁文章
HBase使用教程
u014419512的专栏
06-01 9450
1     基本介绍 1.1 前言 HBase – Hadoop Database，是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。
Hadoop+HBase完全分布式安装
Dobbin
01-10 9519
记录下完全分布式HBase数据库安装步骤准备3台机器：10.202.7.191 / 10.202.7.139 / 10.202.9.89所需准备的Jar包： jdk-7u65-linux-x64.tar.gz (下载：http://www.oracle.com/technetwork/java/javase/downloads/index.html ) zookeeper-3.4.8.tar.gz
HBase的环境配置及其应用
weixin_34306446的博客
06-16 331
-------------------------------------------------------------------------------------- [版权申明：本文系作者原创，转载请注明出处] 文章出处：http://blog.csdn.net/sdksdk0/article/details/51680296 作者： 朱培 ...
HBase 2.5.6 版本特性与下载指南
最新发布
weixin_32047493的博客
03-12 1081
本文还有配套的精品资源，点击获取 简介：HBase 2.5.6是Apache基金会提供的最新NoSQL数据库版本，专门针对处理海量数据进行了优化。该版本继承了HBase的高性能、高可靠性、可扩展性特性，并引入了多方面的改进，如性能优化、稳定性增强、新功能集成、安全性和兼容性提升等。用户可以下载此版本来利用其强大的数据处理能力，支持实时分析、大规模数据存储和复杂查询等场景。 ...
HBase 配置
谁用谁的流年，乱了浮生……
10-20 606
1.1 HBase 配置文件文件概述 backup-masters 默认情况在 conf/ 目录下是不存在的。它只是一个普通的文本问你件，内容是列举运行 backpu HMaster 进程的主机名 hadoop-metrics2-hbase.properties 连接 HBase Hadoop 的 Metrics2 框架，可以点击这里了解更多关于 Metrics2 框架的信息。默认情况下，...
hbase配置详解
weixin_34417814的博客
03-21 143
1准备工作 因为我只有一台机器，所以，一切都成为了伪分布，但是，其实和集群是一样的啦。 在hbase配置之前，先确定自己的linux上有两个前提—— hadoop运行环境和zookeeper运行环境 我的环境如下： hadoop-1.0.2 zookeeper-3.3.6 这些配置这里不进行叙述，确保两者都正常运行；这些东西对hbase配置有用的东西如下： hadoop里co...
HBase的安装和配置
weixin_51568626的博客
08-25 5811
HBase的安装和配置
hadoop+hbase+zookeeper集群配置流程及文件
08-28
提供的文档`hadoop_zookeeper_hbase集群配置.docx`应包含详细的步骤和配置示例，而`配置文件.rar`则可能包含了预设的配置模板，可以作为配置参考。在实际操作时，务必根据具体环境调整配置，确保所有节点之间的网络...
【hadoop】hbase配置
weixin_59765716的博客
12-20 1596
注：配套安装： Hadoop 3.1.3 Zookeeper3.5.7 Hbase2.2.0 一、文件解压 cd /opt/software/ tar -zxvf hbase-2.2.0-bin.tar.gz -C /opt/module/ 二、修改启动变量 系统环境变量增加 vi /etc/profile 到最下面把下面这两行代码插入进去 export HBASE_HOME=/opt/module/hbase-2.2.0 export PATH=$PATH...
Docker hadoop zookeeper hbase 配置文件
03-13
本配置文件集专注于利用 Docker 搭建一个 HBase 集群，其中涉及到的关键知识点包括 Docker 的基本操作、Hadoop 的分布式文件系统（HDFS）、Zookeeper 的协调服务以及 HBase 的数据存储模型。 首先，了解 Docker 是...
Hbase配置及使用（Hadoop课程方向学习篇）
m0_67411812的博客
02-20 791
HBase是一个基于列式存储的分布式数据库，其设计理念源于Google的BigTable论文。底层存储采用Hadoop Distributed File System（HDFS），而集群管理则借助ZooKeeper实现。HBase的分布式架构设计为高度可扩展，为海量数据提供了快速存储和随机访问的能力。能够轻松应对大规模数据的存储和处理需求。通过采用数据副本机制和分区机制，HBase实现了在线扩容、缩容以及数据容灾的便捷管理。使得HBase成为大数据领域中最常用的Key-Value数据结构存储方案之一。
HBase配置
04-20
HBase配置
安装和配置HBase
m0_56066168的博客
06-20 6964
一、下载 阿里云镜像下载比较快。 https://mirrors.aliyun.com/apache/hbase/2.4.12/二、安装 1、解压 解压安装包hbase-2.4.12-bin.tar.gz至路径 /usr/local 2、把hbase目录权限赋予给hadoop用户 3、配置环境变量 将hbase下的bin目录添加到path中，这样，启动hbase就无需到/usr/local/hbase目录下，大大的方便了hbase的使用。教程下面的部分还是切换到了/usr/local/hbase目录操作，有
Hbase配置
u010669349的博客
01-09 237
单机配置 hbase.rootdir file:///DIRECTORY/hbase 只需要配置一个hbase-site.xml文件，路径配在本地就可以 然后，也不需要启动hadoop，直接启动 ./start-hbase.sh(在hbase的bin目录下） HBase 官方文档 0.97 看一下如何快速开始单机模式 点击打开链接
hbase配置
qq_42044269的博客
05-27 256
1.准备工具包：版本是:hbase-0.98.0-hadoop1-bin.tar.gz压缩包本机压缩包在/usr/local/src/下安装:1,解压工具包：tar zxvf hbase-0.98.0-hadoop1-bin.tar.gz2.在目录src下 ls 命令得到解压后的文件: hbase-0.98.0-hadoop13.接着进入hbase-0.98.0-hadoop1目录下在 ls 命令...
Hadoop之HBase
qq_35911309的博客
04-15 500
HBase官方文档》的原文地址是：http://hbase.apache.org/book.htmlW3Cschool.cn进行整理翻译 https://www.w3cschool.cn/hbase_doc/HBase是Apache的Hadoop项目的子项目，是Hadoop Database的简称。下载：https://www.apache.org/dyn/closer.cgi/hbase/
hadoop之HBase
asdasdkhs的博客
03-17 3915
本文介绍了hbase的一些基础原理。
HBase使用初体验
张兆坤
05-22 8753
一直以来对HBase的了解仅仅限于理论上的，最近想进行深入的学习下，当然对一个东东的学习最为直接的就是直接进行体验一下。为此，我在一个VM的Hadoop集群上安装了一个Hbase集群，期间也遇到了好几种不同的错误，现记录如下，以供后续参考。   Hbase集群配置信息如下： Hadoop：hadoop-0.20.2，1 个Master节点   1 个Slave节点 Zookeeper：zo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猪悟道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值