大数据：HBase 集群搭建（master、slave1和slave2）

已于 2022-11-29 15:58:06 修改
阅读量2.6k 收藏 29
点赞数 2
分类专栏： 大数据 文章标签： hbase hadoop 大数据 集群搭建
于 2022-10-10 22:56:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62617719/article/details/127233234
版权

文章目录

HBase 简介

大数据的概念在不断地发酵，进入这个领域的人越来越多。在大数据的领域内，HBase的概念已成为企业和求学者都需要关注的一个重点。

HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。
在这里插入图片描述

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

与FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为对应。

HBASE 安装环境搭建

一，环境配置

需要搭建三个节点：1个主节点，2个从节点。在配置前需要配置好虚拟机网络静态IP，同步时间，关闭防火墙和使用Linux SSH（安全Sheel）。按照下面设立的Linux环境提供的步骤，本次采用的系统为centos-7-x86_64、单核、2GB内存。其三个节点分别取名为master、slave1和slave2。

（1）配置虚拟机网络模式

1.虚拟机网络模式设置为NET模式。选中master节点，右击，在弹出的快捷菜单中选“设置”命令。在“虚拟机设置-硬件-网络适配器”中进行设置。
在这里插入图片描述

2.使用命令reboot重启系统。

（2）配置虚拟机静态IP

1.配置虚拟机网络同样的网段，选择“编辑”——“虚拟网络编辑器”命令进行配置。
在这里插入图片描述

2.进入编辑器之后，设置DHCP的子网IP为192.168.130.128~254。
在这里插入图片描述
3.NAT设置网关为192.168.130.2
在这里插入图片描述

4.配置centos 7系统的静态ip。

(1) 修改主机名

命令1：hostnamectl set hostname master
命令2：vi /etc/sysconfig/network
修改内容如下：
#created by anaconda
NETWORKING=yes
HOSTNAME=master

(2) 修改IP地址

  • 修改网卡配置

命令：vi /etc/sysconfig/network-scripts/ ifcfg-ens33

修改内容

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=583eeb6a-d778-4a01-8f70-f8077741b9e8
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.130.130
NETMASK=255.255.255.0
PREFIX=24
GATEWAY=192.168.130.2
DNS1=192.168.130.2
  • 重启网络服务

命令：systemctl restart network

(3) 修改IP地址和主机名的映射关系

命令：vi /etc/hosts

192.168.130.130 master
192.168.130.131 slave1
192.168.130.132 slave2
  • 关闭防火墙

命令：

systemctl stop firewalld.service
systemctl disable firewalld.service

（3）SSH设置和密钥生成

SSH设置需要在集群上执行不同的操作，如启动、停止和分布式守护Shell操作。进行身份验证不同的Hadoop用户，需要一种用于Hadoop的用户提供的公钥/私钥对，并使不同的用户共享。以下的命令用于生成使用SSH密钥值对。复制公钥id_rsa.pub为authorized_keys，并提供所有者，读写权限到authorized_keys文件。
命令：

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/ .ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

验证SSH：ssh localhost

二，Java安装

Java是应用Hadoop和Hbase的主要决定条件。首先应该使用java -version命令检查java是否存在系统中。

安装步骤
1.可以通过访问以下链接下载jdk-8u211-linux-x64.tar.gz。https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html。
在这里插入图片描述

2.安装JDK。将下载的jdk-8u211-linux-x64.tar.gz（版本自选）文件上传到centos7系统目录/opt/software下。使用下面的命令提取到目录/opt/module中。

命令：tar -zxvf jdk-8u211-linux-x64.tar.gz -C /opt/module/

设置环境变量：vi /etc/profile

添加内容：

export JAVA_HOME=/opt/module/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin

刷新环境变量命令：source /etc/profile

测试安装是否成功：java -version

三，Hbase安装

（1）下载hbase

1.进入hbase官网
在这里插入图片描述2.单击download下的here
在这里插入图片描述

3.进入下图页面，下拉找到Apache Archive，并单击它
在这里插入图片描述

4.进入下图所示页面，此页面可下hbase已存在的所有版本
在这里插入图片描述

5.这里选择2.5.0/，单击它
在这里插入图片描述

6.单击 hbase-2.5.0-bin.tar.gz ，开始下载
在这里插入图片描述

7.下载示例
在这里插入图片描述

8.下载hbase-2.5.0.tar.gz，上传到master的目录/opt/software下。通过以下命令解压到目录/opt/module中。

tar -zxvf hbase-2.5.0.tar.gz -C /opt/module/

（2）配置hbase环境变量

在/etc/profile文件最后追加相关内容。

vi /etc/profile

追加内容如下：

# HBASE_HOME环境变量
export HBASE_HOME=/opt/module/hbase-2.5.0
export PATH=$PATH:$HBASE_HOME/bin

（3）修改HBase的配置文件

注：下列配置文件均在/opt/hbase-2.5.0/conf目录下

1.hbase-site.xml文件：

<configuration>
  <property>
    <!-- Hbase Web UI 登录 -->
    <name>hbase.master.info.port</name>
    <value>60010</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>/opt/module/hbase-2.5.0/tmp</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <property>
    <!-- Hbase写入数据的目录 -->
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbase </value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property> 
    <!-- list of zookeeper -->
　　<name>hbase.zookeeper.quorum</name>
　  <value>master,slave1,slave2</value> 
　</property> 　　　 
  <property>
    <!--zookooper配置、日志等的存储位置 -->
　　<name>hbase.zookeeper.property.dataDir</name>
　　<value>/opt/module/hbase-2.5.0/zookeeper</value>
　</property>
</configuration>

2.hbase-env.sh文件：

export JAVA_HOME=/opt/module/jdk1.8.0_221
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP=true

3.regionservers:

master
slave1 
slave2

四，配置Hbase集群

（1）将master的hbase分发到slave1和slave2

scp -r /opt/module/hbase-2.5.0 slave1:/opt/module
scp -r /opt/module/hbase-2.5.0 slave2:/opt/module

（2）添加salve1和slave2的hbase环境变量

slave1和slave2，输入命令：vi /etc/profile

# HBASE_HOME环境变量
export HBASE_HOME=/opt/module/hbase-2.5.0
export PATH=$PATH:$HBASE_HOME/bin

在这里插入图片描述

（3）启动、停止HBase集群

启动命令：

$ start-hbase.sh

在这里插入图片描述

停止命令：

$ stop-hbase.sh

在这里插入图片描述

梁辰兴
关注
  • 2
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
详解Hadoop核心架构HDFS+MapReduce+Hbase+Hive
03-03
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如何运行，以及基于Hadoop数据仓库的构建和分布式数据库内部具体实现。如有不足，后续及时修改。整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个Nam
Hadoop的SSH免密登录配置(三台虚拟机
weixin_55656726的博客
03-07 745
-------------------------------结束----------------------------并分别修改hosts文件，将主机名与相应的IP地址对应上。3.三台虚拟机分别运行以下命令，清除原有的密钥信息。分别设为master、slave1、slave2。分发完后，重复步骤6查看slave1与2中的情况。安装完成后，SSH服务器应该已经自动启动了。1.分别修改三台修改虚拟机hostname。2.安装ssh-centos。6.然后再master中查看。在master中分发。
搭建HBase2.x完全分布式集群（CentOS 9 + Hadoop3.x）
最新发布
tangyi2008的专栏
04-19 1268
Apache HBase™是一个分布式、可扩展、大数据存储的Hadoop数据库。支持对大数据进行随机、实时的读/写访问请求。 本文详细介绍了HBase完全分布式集群的环境搭建过程，文末附有所需的相应资源的网盘链接。
centos01:regionserver running as process 2725. Stop it first.问题
weixin_51355842的博客
06-06 451
查看是否有zookeeper_server.pid这个文件，如果有删除它。首先切换到zookeeper目录下，找到dataDir目录。可能是在上次使用完成之后没有关闭服务导致；
大数据笔记--HBase（第二篇）
我睡觉的时候不困
03-22 955
一、Hbase的基本架构 1、HRegion ①、在Hbase中，会将一个表从行键方向上进行切分，切分成1个或者多个HRegion ②、切分之后，每一个HRegion都会交给某一个HRegionServer来进行管理 ③、一个表至少会包含一个HRegion，可以包含多个HRgion ④、在HBase中，行键是有序的，因此从行键方向上来进行切分，所以HRegion之间的数据是不交叉的 ⑤、因为HRegionServer会交给HRegionServer来管理，并且HRegion之间的数据相互不交
Hadoop完全分布式集群——Hadoop 配置
weixin_42264536的博客
05-02 8703
前面已完成VMware虚拟机安装与配置（参考前一篇Hadoop完全分布式集群——VMware虚拟机安装与配置_夏雨和阳阳的博客-CSDN博客），下面将进行Hadoop 配置。 一、slave1、slave2节点配置修改 slave1、slave2节点都需要进行以下操作： 1.开启虚拟机，输入命令： [root@slave1 ~]#ip addr [root@slave2 ~]#ip addr 2.修改slave1、slave2虚拟机的IP [root@slave1 ~]#vi /etc/s
三节点（Master、Slave1、Slave2）hbase集群的配置（Ubuntu 18.04）
qq_43464563的博客
03-10 2858
** 安装hbase ** hbase下载地址（我下载的是1.3.6） 下载后缀名为：.tar.gz 的文件 将hbase-1.3.6.tar.gz解压到/usr/local/文件夹下，并改名为hbase： sudo tar -zxf ~/下载/hbase-1.3.6-bin.tar.gz -C /usr/local sudo mv /usr/local/hbase-1.3.6 /usr/loca...
MySQL主从架构配置
大数据进阶之路
12-06 269
MySQL主从架构配置MySQL主从架构配置1. 准备2. 主节点配置（master）3. 从节点配置（slave1/slave2）4. 进入master节点5. 进入slave1/slave2节点6. 简单测试 MySQL主从架构配置 1. 准备 我这里准备了三台机器（系统版本：CentOS6.5）准备搭建MySQL主从架构，分别是master（192.168.21.200）和slave1（1...
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
总的来说，搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤，包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解，并熟悉Linux系统的操作。完成后，这个集群可以处理大量数据，支持实时查询和...
HBase集群环境搭建.pdf
11-16
在本文中，我们将详细探讨如何搭建一个HBase集群环境，主要涉及两个关键组件：Zookeeper和HBase。HBase是一个基于Hadoop的分布式数据库，它提供高可靠性、高性能和可伸缩性，适用于处理大规模数据。HBase运行在...
大数据学习环境搭建系列(一)大数据集群平台介绍.docx
10-31
在这个案例中，我们将搭建一个包含四个虚拟机的集群：一个用于伪分布式的`single_node`，另外三个`master`、`slave1`和`slave2`用于分布式集群。每个虚拟机都有特定的IP地址和主机名，并安装了必要的软件组件，如...
大数据学习环境搭建系列(一)大数据集群平台介绍.pdf
10-31
构建的大数据集群包含两种类型：伪分布集群（single_node）和分布式集群（master、slave1、slave2）。每个虚拟机都有特定的角色，如master节点运行NameNode、ResourceManager等组件，slave节点则作为DataNode和...
Hadoop hbase hive sqoop集群环境安装配置及使用文档
10-25
在本文档中，我们将详细介绍如何搭建一个大数据集群环境，包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分：Hadoop 集群环境搭建、HBase 集群环境搭建、Hive 集群环境搭建和 Sqoop 集成...
【无标题】
weixin_64487242的博客
07-16 6871
123
HBase Master 解析
new Blog("gzh")
07-31 4525
HBase的master server具体实现是HMaster。它提供了面向Client的HMasterInterface和面向region server的HMasterRegionInterface的实现。 下面是它的组件介绍：InfoServer 展示信息的组件。这是一个web server，响应你访问http://MasterHost:60010的http请求，它本质是一个Jetty
Hbase中的Hmaster高可用部署方案
wyl9527的博客
05-24 1913
目录 1 Hmaster在Hbase中的作用 2.Hmaster高可用部署 2.1 创建backup-masters文件 2.2 分发到其他的两台机器 2.3 启动服务 2.4 验证 1 Hmaster的作用 监控RegionServer 处理RegionServer故障转移 处理元数据的变更 处理region的分配或转移 在空闲时间进行数据的负载均衡 通过Zookee...
Hbase-HA搭建(两个HMaster)
Shi_Liz的博客
02-15 3817
1.配置 1.1.环境配置 配置HBASE_HOME（部分参数路径基于此配置，比方说log） vi ~/.bash_profile PATH=$PATH:$HOME/bin export JAVA_HOME=/home/hadoop/env/jdk1.7.0_80 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:...
HBase分布式安装配置
HaveAGoodDay428的博客
05-12 735
HBase分布式安装配置、2023年大数据应用高职师生同赛
Hbase配置手册
欢迎朋友，我是一名十多年开发经验的新手，希望多多指教。
06-05 882
Hbase配置手册
大数据：hadoop基础常识hive，hbase，mapreduce，spark
06-06
### 回答1： 大数据是指数据量非常大、处理难度较高的数据集合。Hadoop是一种分布式计算框架，包括Hive、HBase、MapReduce和Spark等基础组件。Hive是一种基于Hadoop的数据仓库工具，可以将结构化数据映射到Hadoop上进行查询和分析。HBase是一种分布式的NoSQL数据库，适用于海量数据的存储和实时读写。MapReduce是一种分布式计算模型，可以将大数据分成小块进行并行处理。Spark是一种快速、通用、可扩展的大数据处理引擎，支持多种编程语言和数据源。这些基础组件共同构成了Hadoop生态系统，为大数据处理提供了强大的支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梁辰兴

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值