Hadoop集群搭建及配置⑧——Hbase的安装配置

最新推荐文章于 2024-05-14 05:32:08 发布
最新推荐文章于 2024-05-14 05:32:08 发布
阅读量1.9k 收藏 8
点赞数 2
分类专栏： 大数据 Linux 大数据--学习 文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44775255/article/details/114676669
版权

Hbase的安装配置

掌握基础环境配置
掌握hbase安装
掌握运用hbase-shell

5、Hadoop集群搭建及配置③ —— 基础环境搭建

6、Hadoop集群搭建及配置④ —— JDK简介及其安装

7、Hadoop集群搭建及配置⑤ —— Zookeeper 讲解及安装

8、Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置

9、Hadoop集群搭建及配置⑦—— Spark&Scala安装配置

10、Hadoop集群搭建及配置⑧——Hbase的安装配置

11、Hbase：交互式简单增删改

1.1 hbase介绍

HBase是一个分布式的、面向列、非关系型的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。

  • Hbase解决HDFS不能解决的问题。
  • HDFS作为文件系统，数据存放上去之后，只能查询。
  • Hbase可以进行增删改。

Hadoop是一个高容错、高延时的分布式文件系统和高并发的批处理系统，不适用于提供实时计算；
HBase是可以提供实时计算的分布式数据库，数据被保存在HDFS分布式文件系统上。

HBase HRegion servers集群中的所有的region的数据在服务器启动时都是被打开的，相应的这就在一定程度上加快系统响 应；而Hadoop中的block中的数据文件默认是关闭的，只有在需要的时候才打开，处理完数据后就关闭，这在一定程度上就增加了响应时间。
　　在这里插入图片描述

1.2 解压 Hbase 配置

创建文件
mkdir -p /usr/hbase

解压文件
tar -zxvf /home/master/Downloads/hbase-1.2.4-bin.tar.gz -C /usr/hbase

在这里插入图片描述

1.2.1 修改 hbase-env.sh

cd /usr/hbase/hbase-1.2.4/conf 进入hbase配置目录conf，修改配置文件hbase-env.sh，添加配置变量：

解释： 一个分布式运行的Hbase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下Hbase会管理一个zookeep集群。即Hbase默认自带一个zookeep集群。
这个集群会随着Hbase的启动而启动。而在实际的商业项目中通常自己管理一个zookeeper集群更便于优化配置提高集群工作效率，但需要配置Hbase。需要修改conf/hbase-env.sh里面的 HBASE_MANAGES_ZK 来切换。这个值默认是true的，作用是让Hbase启动的时候同时也启动zookeeper.在本实验中，我们采用独立运行zookeeper集群的方式，故将其属性值改为false。

vi hbase-env.sh
export HBASE_MANAGES_ZK=false
export JAVA_HOME=/usr/java/jdk1.8.0_171
export HBASE_CLASSPATH=/usr/hadoop/hadoop-2.7.3/etc/hadoop

在这里插入图片描述

1.2.2 修改 hbase-site.xml 文件

解释：要想运行完全分布式模式，加一个属性hbase.cluster.distributed 设置为 true 然后把 hbase.rootdir 设置为HDFS的NameNode的位置。

hbase.rootdir：这个目录是region server的共享目录，用来持久化Hbase。URL需要是’完全正确’的，还要包含文件系统的scheme。

hbase.cluster.distributed ： Hbase的运行模式。false是单机模式，true是分布式模式。若为false，Hbase和Zookeeper会运行在同一个JVM里面。

在hbase-site.xml配置zookeeper：当Hbase管理zookeeper的时候，你可以通过修改zoo.cfg来配置zookeeper，对于zookeepr的配置，你至少要在 hbase-site.xml中列出zookeepr的ensemble servers，具体的字段是 hbase.zookeeper.quorum. 在这里列出Zookeeper集群的地址列表，用逗号分割。（按自己节点名称）

hbase.zookeeper.property.clientPort：ZooKeeper的zoo.conf中的配置,客户端连接的端口（2181）。

hbase.zookeeper.property.dataDir： ZooKeeper的zoo.conf中的配置。对于独立的Zookeeper，要指明Zookeeper的host和端口。需要在 hbase-site.xml中设置。

vi hbase-site.xml
<property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:8020/hbase</value>
        <description>这个目录是regin server的共享目录，用来持久化Hbase</description>
</property>
<property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
        <description>Hbase的运行模式。false是单机模式，true是分布式模式</description>
</property>
<property>
        <name>hbase.master</name>
        <value>hdfs://master:60000</value>
        <description>hmaster port</description>
</property>

<property>
        <name>hbase.zookeeper.quorum</name>
        <value>master,slave1,slave2</value>
        <description>zookeeper集群的URL配置，多个host中ian用逗号（,）分割</description>
</property>

<property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/zookeeper/zookeeper-3.4.10/zkdata</value>
        <description>zookeepe的zooconf中的配置，快照的存储位置</description>
</property>

<property>
 <name>hbase.zookeeper.property.clientPort</name>
  <value>2181</value>
</property>
<property>
  <name>hbase.master.info.port</name>
  <value>60010</value>
</property>

在这里插入图片描述
设置完，保存退出。

1.2.3 修改 regionservers 文件

regionservers 文件负责配置HBase集群中哪台节点作为RegionServer服务器。 删掉默认的 localhost，并添加想要运行 RegionServer 的节点名。将 slave1、slave2 作为 RegionServer 服务器。配置内容如下。
在这里插入图片描述

vi regionservers
slave1
slave2
1.2.5 拷贝、分发节点
hadoop配置文件拷入hbase的目录下
cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml /usr/hbase/hbase-1.2.4/conf

cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml /usr/hbase/hbase-1.2.4/conf

分发文件到节点
scp -r /usr/hbase root@slave1:/usr/
scp -r /usr/hbase root@slave2:/usr/

在这里插入图片描述

1.2.6 配置环境变量 Hbase（三个节点）
vi /etc/profile
# set hbase environment
export HBASE_HOME=/usr/hbase/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin
source /etc/profile

1.3 Hbase 运行与测试

在master上执行(保证hadoop和zookeeper已开启)：

# 开启zookeeper 
cd /usr/zookeeper/zookeeper-3.4.10
bin/zkServer.sh start
bin/zkServer.sh status
bin/zkServer.sh stop（关闭）

# 开启hadoop 
cd /usr/hadoop/hadoop-2.7.3
sbin/start-all.sh	(master)

sbin/start-dfs.sh 				#启动HDFS相关服务	sbin/stop-dfs.sh
sbin/start-yarn.sh				#启动YARN相关服务
sbin/mr-jobhistory-daemon.sh start historyserver	#启动日志相关服务JobHistoryServer

sbin/stop-all.sh （关闭）

# # 开启hbase 
cd /usr/hbase/hbase-1.2.4/
start-hbase.sh （master）

hbase shell	（ /usr/hbase/hbase-1.2.4/ 目录下）

start-hbase.sh
http://192.168.142.128:60010/
在这里插入图片描述

补)：备份防止单点故障 （三个节点都要）

为防止单点故障配置备用的主节点角色，具体如下：
在 /usr/hbase/hbase-1.2.4/conf 目录下，创建backup-masters，添加 salve2，表示slave2为备用节点。

vi backup-masters
slave2

:wq 保存退出。

在这里插入图片描述
可以看到slave2 是作为备用HMaster。在这里插入图片描述

唐樽
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop及Hbase安装介绍
m0_37261091的博客
02-23 1027
Hadoop简介 Hadoop是一个由Apache基金会所开发的分布式基础结构，主要包括HDFS和MapReduce两部分，HDFS是分布式文件系统，MapReduce是一个用于大数据计算的编程模型。从Hadoop 2.0开始，资源调度统一由Yarn进行管理，Yarn由ResourceManager和NodeManager两部分组成。 Hadoop发行版本，主要有Apache发行版和第三方发行版本...
HBase完全分布式配置（上）hadoop篇 保姆级教程（近乎零基础跟着配也能配对）
m0_73099445的博客
03-31 1957
为你配置hadoop完全分布式开启宝宝模式
2024年最全【hadoop】hbase的安装部署以及相关操作（图文详解）_hbase安装，字节跳动+京东+美团+腾讯面试总结
最新发布
2401_84182146的博客
05-14 1666
例如，要表示hdfs中的’/hbase’目录，namenode 运行在namenode.example.org的9090端口。因为HBase依赖于Hadoop的分布式文件系统HDFS和资源管理框架YARN，而且HBase的各个版本都会对Hadoop的版本有一定的要求。在Zookeeper中，需要配置Zookeeper集群，以支持HBase的分布式环境下的协调和管理。HBase的运行模式。进入hbase配置文件路径，编辑hbase-env.sh配置文件，然后把以下圈起来的两行给注释掉，就不会报错了。
【HBase】安装HBase集群（3台主机）
zhouwhui 的博客
03-18 3676
安装HBase集群（3台主机）
hadoop-hbase配置
雪夕阳
08-17 989
hadoop1.0.0,hbase0.92.0三节点安装     Java代码   1.  版本：hadoop-1.0.0,hbase-0.92.0   Java代码   1.  在195,196,197上安装hadoop集群   2.  结果：195-》namenode   3.        196-》jobtracker,datanode   4.       
hadoop hbase分布式安装配置
埋雷兽的博客
08-21 1308
   本案例是在centos6.5上安装好hadoop2.6.4集群环境基础上进行的Hbase1.2.6分布式安装，hadoop分布式安装请参考《Apache Hadoop 分布式集群环境安装配置详细步骤》   解压安装： 在Master机器上进行操作： 进入文件所在目录：     #    cd /home/hadoop/下载 #    tar -zxf hbase-1.2.6-bin...
hadoop配置ha后，hbase配置的变化
小魏的博客
08-02 1303
hadoop配置完ha后，hbase的配置有一些变化。      hbase-site.xml hbase.rootdir hdfs://myha/hbase      还要把hdfs-site.xml和core-site.xml复制到hbase的conf目录下。不然会报找不到myha的错误。      hbase的ha配置就是在conf目录下，配置backup-masters文件，里
基于centos7的hadoop、hbase集安装群部署.zip
03-13
本文将深入探讨如何在基于CentOS 7的操作系统上，使用Ansible自动化工具来安装和部署Hadoop及HBase集群。 首先，让我们了解Hadoop的核心组件。Hadoop由两个主要部分组成：Hadoop Distributed File System (HDFS) 和...
大数据集群搭建安装包
09-22
这个"大数据集群搭建安装包"包含了进行此类搭建所需的关键组件，让我们一一深入探讨这些组件及其重要性。 首先，JDK（Java Development Kit）是所有Java应用的基础，对于Hadoop等基于Java的大数据框架来说尤其重要...
《Hadoop平台技术》校内讲义 (集群搭建)-pdf.pdf
10-06
《Hadoop平台技术》校内讲义专注于介绍大数据处理的核心技术——Hadoop，以及如何在实际环境中搭建Hadoop集群。这份讲义详细阐述了大数据的基本概念、Hadoop的概述及其运行环境的搭建步骤。 首先，大数据概论部分，...
52498-Hadoop平台搭建与应用-任务实施操作指南手册.rar
03-02
指南将指导你如何安装Java环境，配置Hadoop的环境变量，以及分发和启动Hadoop集群。 3. **HDFS**：HDFS是Hadoop的数据存储系统，具有高容错性和可扩展性。学习如何格式化HDFS，启动和停止DataNodes与NameNode，以及...
拥抱大数据——初识Hadoop，轻松应对海量数据存储与分析所带来的挑战
01-20
在Linux环境下搭建Hadoop涉及到安装JDK、配置环境变量，然后下载并解压Hadoop安装包，进行Hadoop的配置，包括修改core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等配置文件，最后启动Hadoop服务，...
hadoop系列之四：Hbase的安装与使用
qq_42896431的博客
12-18 2017
hadoop系列之四：Hbase的安装与使用
如何搭建Hadoop高可用环境下的hbase
别人笑我太疯癫，我笑他人看不穿。
06-21 445
一、HBase的解压 解压HBase到指定目录，可自定义： tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt 二、修改HBase对应的配置文件。 1）HBase-env.sh修改内容： export JAVA_HOME=/opt/module/jdk1.8.0_144 export HBASE_MANAGES_ZK=false export HBASE_PID_DIR=/var/Hadoop/pids 2）hbase-site.xml修改内容： <configurati
hbase配置
qq_54417407的博客
12-13 242
一、文件解压 cd /opt/module/ tar -zxvf hbase-2.2.0-bin.tar.gz 二、修改启动变量 系统环境变量增加vi /etc/profile export HBASE_HOME=/opt/module/hbase-2.2.0 export PATH=$PATH:$HBASE_HOME/bin 保存系统环境变量：source /etc/profile 修改hbase变量 cd /opt/module/hbase-2.2.0/conf/ vi hb..
Hadoop-2.7.3下安装Hbase-1.2.6
Brent的专栏
09-07 3077
1.环境信息 操作系统信息如下: 1[hadoop@hadoop1 soft]$ uname -a2Linux hadoop1 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux3[hadoop@hadoop1 soft]$ cat /etc/redha
Hadoop与Hbase环境搭建
SQG_L的博客
10-30 1118
** Hadoop与Hbase环境搭建安装 ** Hadoop环境 温馨提醒：复制粘贴的习惯需减少 一、准备工作 1、 关闭防火墙 [root@localhost ~]# systemctl stop firewalld //停止firewalld防火墙 [root@localhost ~]# systemctl disable firewalld //disable防火墙 [root@localhost ~]# systemctl status firewalld //查看firewall
【大数据毕设环境配置七】-搭建基于hadoop2.7.1+的HBase完全分布式集群
叙话代码
03-28 279
安装说明 必须先安装好zookeeper，参考【大数据毕设环境配置五】 必须安装好hadoop（HA）集群 参考 【大数据毕设环境配置六】 开放master 的16010端口（到安全组） 查看hbase和hadoop的对应关系 参考:点击这里查看 安装过程 scp 上传hbase1.2.6的版本 解压并且配置环境变量 配置文件我已经传到自己的网盘，对应自己的主机名字进行自行修改。点击这里:b...
Hadoop集群搭建过程如何配置Java环境
05-10
在搭建Hadoop集群之前，需要确保每台机器都正确配置了Java环境。以下是配置Java环境的步骤： 1. 下载Java安装包：从Oracle官网下载Java安装包，根据你的操作系统选择适当的版本。 2. 安装Java：运行Java安装程序并按照提示进行安装。在Linux系统中，可以使用以下命令安装Java： ``` sudo apt-get update sudo apt-get install default-jdk ``` 3. 配置Java环境变量：将Java的bin目录添加到系统的PATH环境变量中。 在Linux系统中，可以使用以下命令编辑 /etc/profile 文件： ``` sudo nano /etc/profile ``` 在文件末尾添加以下行： ``` export JAVA_HOME=/usr/lib/jvm/default-java export PATH=$PATH:$JAVA_HOME/bin ``` 然后保存并退出文件。 4. 使环境变量生效：使用以下命令使环境变量生效： ``` source /etc/profile ``` 5. 验证Java环境：使用以下命令验证Java环境是否配置正确： ``` java -version ``` 如果显示Java的版本信息，则说明Java环境已经配置成功。 完成以上步骤后，你可以在每台机器上重复以上步骤，确保每台机器都正确配置了Java环境。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

唐樽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值