大数据技术Hbase----安装

最新推荐文章于 2023-06-28 19:31:36 发布
最新推荐文章于 2023-06-28 19:31:36 发布
阅读量259 收藏
点赞数
分类专栏： 大数据技术 文章标签： 分布式 大数据 hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45228198/article/details/118889263
版权

HBase安装

什么是Hbase

官网
官方文档
历史版本

  1. 分布式、可扩展的Nosql数据库，用于存储结构化、半结构化数据
  2. 高可靠、高性能、面向列存储，适用稀疏数据，便于统计分析
  3. 可以利用廉价的PC机扩展---->存储、处理海量数据

Hbase特点

  1. 海量存储，PB级的数据存储

  2. 面向列的存储，这里的列指的是列族（可含多个列）

  3. 可靠性：HDFS副本冗余、WAL、replication(Region)

  4. 高可扩展性：
    1.基于上层处理能力的扩展（RegionServer）
    通过横向添加RegionServer机器，水平扩展，提高Hbase上层处理能力，提高Hbase服务更多region的能力
    在这里插入图片描述

    1. 基于存储的扩展（HDFS）

  5. 高并发（多核）
    并行，同时执行，异步独立，需要多核心
    并发，一段时间内，两个或者多个程序同时执行，如python的多线程（串行执行），单核心

  6. 稀疏数据存储
    主要针对Hbase列的灵活性
    列簇中，可以指定任意多个列，列数据为空时，不占用内存空间
    在这里插入图片描述
    密集表，行存储，null 时也分配内存
    稀疏表，列存储，null 时不占内存，连续存储，不会产生内存碎片

Hbase架构

在这里插入图片描述
HMaster，主节点，运行在NameNode节点上
HRegionServer，存储分区数据的PC–Slaves，运行 在DataNode节点上
HRegion，数据分区（大行）
Store，列簇
Mem Store，缓存区域
HLog，预写日志

Hbase安装

Hbase三种运行模式：单机、伪分布式、完全分布式

单机模式

单机版的HBase包括HMaster、HRegionServer、Zookeeper所有的进程，并都基于本地文件系统，运行于同一个JVM。
1.安装JDK

sudo apt-get update #更新源
sudo tar -zxvf xxxxjdk1.8xxx.tar.gz -C /usr/local
#rename
sudo mv xxxxxdjk/ jdk8
sudo chown -R user:user jdk8 #改变用户名、用户组

#config env
cd
sudo vim .bashrc
shift+g
export JAVA_HOME=/usr/local/jdk8
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=.:$JAVA_HOME/bin:$PATH

#save esc--shift+zz
source .bashrc
#检查是否安装成功
java -version

2.安装HBase

sudo tar -zxvf hbase-1.4.13.tar.gz -C /usr/local
cd /usr/local
sudo mv hbase-1.4.13/ hbase1.4.13

sudo chown -R user:user hbase1.4.13 #change owner
sudo chmod -R u+w hbase1.4.13

#config env
cd 
sudo vim .bashrc
export HBASE_HOME=/usr/local/hbase1.4.13
export PATH=.:$HBASE_HOME/bin:$PATH

source .bashrc
#检查是否安装成功
hbase version

3.配置hbase
hbase-env.sh
hbase-site.xml

cd /usr/local/hbase1.4.13/conf
sudo vim hbase-env.sh
export JAVA_HOME=/usr/local/jdk8

sudo vim hbase-site.xml
<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:/usr/local/hbase1.4.13/data</value>
    <descriptor>使用本地文件系统</descriptor>
  </property>
</configuration>

4.启动测试

start-hbase.sh
jps
#查看进程 有HMaster 则启动成功
stop-hbase.sh #停止
hbase shell 进入客户端

伪分布式模式

  1. Zookeeper集群正常部署或者伪分布式部署，并启动
    zkServer.sh start #开启集群
    zookeeper---->参考
  2. Hadoop集群正常部署或者伪分布式部署，并启动
    start-all.sh
    or start-dfs.sh, start-yarn.sh
  3. 安装Hbase并配置
#下载的软件解压到/usr/local
sudo tar -zxvf hbase-1.4.13-bin.tar.gz -C /usr/local
#重命名
cd /usr/local
sudo mv hbase-1.4.13 hbase1.4.13
#更改权限、用户
sudo chown -R lauf hbase1.4.13
sudo chmod -R a+w hbase1.4.13
#配置环境变量
cd ~
sudo vim .bashrc
shift+g
export HBASE_HOME=/usr/local/hbase1.4.13
export PATH=.:$HBASE_HOME/bin:$PATH

#使配置文件生效
source .bashrc
  1. 配置hbase-env.sh
cd /usr/local/hbase1.4.13/conf
sudo vim hbase-env.sh

export JAVA_HOME=/usr/local/jdk8
export HADOOP_HOME=/usr/local/hadoop2.10
export HBASE_HOME=/usr/loca/hbase1.4.13
export HBASE_CLASSPATH=/usr/local/hbase1.4.13/conf
export HBASE_PID_DIR=/usr/local/hbase1.4.13/pids
export HBASE_MANAGES_ZK=false  #zookeeper与hbase独立
  1. 配置hbase-site.xml
    localhost----若改为具体域名，则hadoop、hbase的配置文件均需更改，且hbase-site需配置zookeeper的地址
<configuration>
	<property>
		<name>hbase.rootdir</name>
		<value>hdfs://localhost:9000/hbase</value>
		<description>hbase.rootdir是RegionServer的共享目录，用于持久化存储Hbase的数据，默认存储在/tmp，重启Hbase时数据会丢失。
		一般配置HDFS目录
		如HDFS配置的主机localhost:9000
		</description>
	</property>
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
		<description>
		Hbase的运行模式，
		false为单机模式
		true为分布式模式，又分为伪分布式、完全分布式
		</description>
	</property>
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>example1,example2,example3</value>
		<description>
		Zookeeper集群的服务节点地址,不含端口
		</description>
	</property>
	<property>
		<name>hbase.zookeeper.property.dataDir</name>
		<value>/var/zookeeper</value>
		<description>
		存储zookeeper的元数据，默认存储在/tmp，重启数据会丢失
		</description>
	</property>
</configuration>

其他配置项参考

完全分布式

在完全分布式下，还要修改conf/regionservers，列出所有RegionServer的地址

sudo vim regionservers
slave1
slave2
...
  1. hbase-env.sh 不变，直接分发
  2. hbase-site.xml稍作更改，然后分发
    localhost:9000–>master:9000
    zookeeper.quorum:master,slave1,slave2
  3. 编辑regionservers，直接分发

所有节点 -->相同配置
每个节点进程运行在自己的服务器上。

同一台机器：(HDFS)NameNode+(HBase)HMaster+(ZK)Leader
同一台机器：(HDFS)DataNode+(HBase)HRegionServer+(ZK)Followers

在这里插入图片描述
web API:
hdfs, http://master:50070
yarn, http://master:8088
hbase, http://master:16010

增加RegionServer节点

（1） 增加HDFS的DataNode节点，并启动DataNode进程。
hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

（2） 在Master上修改regionservers配置文件，加入新节点域名，并同步到所有集群机器。
（3） 在新节点进行同Master相同的HBase配置，并启动RegionServer进程，
hbase-daemon.sh start regionserver。
（4） 在HBase的web 页面中查看是否有新节点加入到集群。
http://master:16010

增加备份的HMaster

  1. 在master节点的conf下创建backup-masters
sudo vim backup-masters
slave1
  1. 在slave1节点启动backup-master进程
hbase-daemon.sh start backup-master
  1. 备份的master不断轮询，当前活跃的HMaster是否故障，若故障，则重新从备份的master中选出一个接管HBase集群。

 
 
 
 
上一篇：大数据技术Hbase----分布式    下一篇：

laufing
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
大数据技术基础实验报告-HBase安装配置和应用实践.doc
08-21
大数据技术基础实验报告-HBase安装配置和应用实践
HBase(1.4.13)安装和使用
BrandoLv
12-05 3616
HBase 1.4.12 安装与使用 (单机模式) 安装 下载 安装 使用 常用命令 软件安装 下载 官网地址: http://hbase.apache.org/ 下载列表: http://hbase.apache.org/downloads.html 当前使用版本下载地址: http://mirror.bit.edu.cn/apache/hbase/hbase-1.4.12/hba...
4.1 Hbase的安装与简单操作
热门推荐
weixin_46561163的博客
01-02 1万+
第一关 Hbase数据库的安装 1.首先要在官网下载好Hbase的安装包（educoder已装到/opt目录下） 2.将安装包解压到/app目录下 mkdir /app cd /opt ulimit -f 1000000 tar -zxvf hbase-2.1.1-bin.tar.gz -C /app 3.查询JAVA_HOME的路径 echo $JAVA_HOME 查询结果，把它复制下来： 4.编辑HBase conf目录下的hbase-env.sh文件，将其中的JAVA.
HBase的安装（单机版）
皮埃尔的博客
04-29 4273
HBase的安装（单机版）
hbase安装步骤
03-21 1805
一、HDFS 启动 /usr/local/hadoop/sbin/start-all.sh 二、zookeeper要启动 1、使用hbase自带的zookeeper 2、使用独立的zookeeper 三、安装hbase 1、启动zookeeper集群 2、将钉钉群里的hbase-2.4.10-bin.tar.gz文件下载到windows机器上 3、将windows上的hbase-2.4.10-bin.tar.gz通过xftp工具上传到三台虚拟机中一台lin...
Hbase基础(一)——安装与使用
weixin_63507910的博客
04-04 4055
Hbase是一个分布式的、面向列的开源数据库，有区别于传统的行式数据库(如Mysql等)，与Hive数据仓库相比，更适合实时存储数据场景，但是与传统的列式数据库相比，更适合键值对的数据存取或者有序的数据存取。Hbase的版本有很多，读者在下载Hbase的压缩包之前，先去Hbase官网查看不同版本的hadoop对哪些版本的Hbase支持。本系列文章是基于hadoop集群搭建后的入门学习，关于hadoop集群搭建，请自行查看笔者发布的hadoop系列文章。
hive-hbase-handler-1.2.1.jar
08-15
hive-hbase-handler-1.2.1.jar解决hive1.2.1,hbase不兼容情况！
第3章-大数据存储技术----大数据基础.pptx
06-22
目录 2 理解HDFS分布式文件系统 NoSQL数据库 Hadoop的安装和配置 HDFS文件管理 Hbase的安装和配置 Hbase的使用 第3章-大数据存储技术----大数据基础全文共111页，当前为第2页。 HDFS简介 3 HDFS文件系统的特点： 1....
hbase-hadoop-compat-1.1.3-API文档-中英对照版.zip
04-23
赠送jar包：hbase-hadoop-compat-1.1.3.jar； 赠送原API文档：hbase-hadoop-compat-1.1.3-javadoc.jar； 赠送源代码：hbase-hadoop-compat-1.1.3-sources.jar； 赠送Maven依赖信息文件：hbase-hadoop-compat-1.1.3....
hbase-1.2.0
02-26
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储...
大数据数据库之HBase：集群安装部署
qq_34577182的博客
03-30 453
文章目录前言1. HBase集群安装部署1.1 准备安装包1.2 修改HBase配置文件1.2.1 hbase-env.sh1.2.2 hbase-site.xml1.2.3 regionservers1.2.4 back-masters1.3 分发安装包1.4 创建软连接1.5 添加HBase环境变量1.6 HBase的启动与停止1.7 访问WEB页面1.8 停止HBase集群总结 前言 Hive的学习告一段落，接下来开始了解大数据主流NoSql数据库HBase，本文主要讲解HBase集群的安装部署，为
大数据之HBase
yutao_Struggle的博客
04-04 900
1 Hbase简介 1.1 Hbase定义 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hado...
Hbase的安装与配置
weixin_35687230的博客
02-03 233
（1）下载HBaseHbase下载，提取码：zmcf （2）文件解压缩 使用命令：cd /srv/ftp 使用命令：tar zvxf hbase-1.4.9-bin.tar.gz -C /usr/local 解压到/usr/local目录 （3）重命名 使用命令：mv hbase-1.4.9/ hbase 重命名为hbase （4）环境配置 使用命令：vim ~/.bashrc export PA...
Apache Hbase
麦田里的守望者-蒋中洲【相信相信的力量】
04-17 1444
作者：jiangzz 电话：15652034180 微信：jiangzz_wx 微信公众账号：jiangzz_wy 百知教育 Hbase 概述 Hbase是一个基于Hadoop之上的数据库服务，该数据库是一个分布式、可扩展的大的数据仓库。当您需要对大数据进行随机，实时读/写访问时，请使用Apache HBase™（HDFS虽然可以存储海量数据，但是对数据的管理粒度比较粗糙，只支持对文件的上传下载，...
HBase—— 6.HBase配置说明
blueicex2017的博客
03-14 601
HBase使用与Apache Hadoop相同的配置系统。所有配置文件都位于conf/目录中，需要保持群集中每个节点的同步。，主要包括4个文件：环境变量配置文件hbase-env.sh、核心配置文件hbase-site.xml、备用节点配置文件backup-masters、节点配置文件regionservers。 1. conf下的配置文件 1.1 backup-masters 默认情况下不存在。...
HBase安装配置和管理
m0_69488210的博客
06-28 4258
1. 掌握HBase安装配置方法 2. 掌握HBase Shel命令使用方法 3. 掌握HBase Java API的基本用法
HBase环境搭建随记
weixin_30698527的博客
08-22 214
====软件版本==== jdk：jdk-8u77-linux-x64.tar.gz zookeeper：zookeeper-3.4.6.tar.gz hadoop：hadoop-2.7.4.tar.gz hbase：hbase-1.3.1-bin.tar.gz ====前提准备==== 3台vmware虚拟机（已配置无秘钥访问） 其中，/etc/hosts文件内容如下：...
云计算与大数据实验七 HBase的安装与基本操作
qq_64314976的博客
12-31 1745
非常消耗资源，所以你在长时间没使用命令行后台会回收资源，如果你想保持环境不被注销，请在弹出延时窗口时点击延时，并且保持操作命令行，这样可以保持你的环境一直持续。要新建一个表，首先必须要给它起个名字，并为其定义模式，一个表的模式包含表的属性和列族的列表。的安装也分为三种，单机版、伪分布式、分布式；当然我们肯定还会有一个需求：查看所有的数据。不改这个配置，数据会在重启的时候丢失；有时候我们还想将创建好的表删除，怎么做呢？需要是'完全正确'的，还要包含文件系统的。现在，我们来创建一个简单的表。
Hbase集群部署
m0_70156573的博客
06-26 697
使用catjps查看所有集群的进程，看到QuorumPeerMain进程表示启动成功了。因为在此之前我已经安装过zookeeper了，所以这里不做操作，需要的自己去百度。切换路径：cd /usr/local/hbase-2.5.4/conf/先切换到/usr/local 目录下，随后使用启动zookeeper。需要切换到/usr/loca路径下，如果已经在此路径下就不需要切换了。在此之前先切换到/usr/local路径下。需要先切换到/usr/local路径下。用ll查看有没有配置好的hbase文件。
期末试题0(hadoop大数据技术与应用) - 汇总
最新发布
12-14
Hadoop大数据技术是当前互联网时代最常用的大数据处理平台之一，它能够处理海量的数据并且实现分布式存储和计算。在本学期的课程学习中，我们深入了解了Hadoop的基本架构和原理，包括HDFS分布式文件系统、MapReduce计算模型、YARN资源管理等核心组件。 在学习Hadoop的过程中，我们还学习了如何使用Hive和HBase这两种不同的数据存储方式，了解了它们的特点和适用场景。同时，我们也掌握了如何使用Pig和Spark等工具来进行大数据的处理和分析，包括数据清洗、转换和挖掘等操作。 在实际操作中，我们通过搭建Hadoop集群、编写MapReduce程序和使用Hive、HBase等工具来完成了大量的实验和项目，对Hadoop大数据技术有了更加深入的理解和掌握。同时，我们也学习了如何优化Hadoop集群的性能，避免出现单点故障和提高系统的稳定性。 通过本学期的学习，我对Hadoop大数据技术有了全面的了解，并且在实践中积累了丰富的经验。我相信这门课程的学习将对我的未来职业发展有着重要的帮助，我会继续不断地加强对Hadoop大数据技术的学习和应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

laufing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值