Hbase-基于hadoop集群的搭建和基本语法介绍！

最新推荐文章于 2023-07-12 10:00:00 发布
最新推荐文章于 2023-07-12 10:00:00 发布
阅读量276 收藏
点赞数
分类专栏： 集群 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40733505/article/details/108343007
版权 
# 环境搭建
	# 解压省略...
	# vi hbase-env.sh
		# export JAVA_HOME=/opt/install/jdk		JDK
		# export HBASE_MANAGES_ZK=false			启用外部zookeeper
	# vi hbase-site.xml
		<configuration>
			<property>
			  <name>hbase.rootdir</name>
			  <value>hdfs://kbcluster/hbase</value>
			</property>
			<property>
			  <name>hbase.cluster.distributed</name>
			  <value>true</value>
			</property>
			<property>
			  <name>hbase.master.port</name>
			  <value>16000</value>
			</property>
			<property>
			  <name>hbase.zookeeper.property.dataDir</name>
			  <value>/opt/bigdata/hadoop/zookeeper/zkdata</value>
			</property>
			<property>
			  <name>hbase.zookeeper.quorum</name>
			  <value>vwmaster:2181,vwslave01:2181,vwslave02:2181,vwslave03:2181</value>
			</property>
		</configuration>
	# vi regionservers
		vwmaster
		vwslave01
		vwslave02
		vwslave03
	# 软连接hadoop core-site.xml hdfs-site.xml 到hbase的conf
		ln -s /opt/bigdata/hadoop/hadoop260/etc/hadoop/core-site.xml ./
		ln -s /opt/bigdata/hadoop/hadoop260/etc/hadoop/hdfs-site.xml ./
	# 环境变量
		export HBASE_HOME=/opt/bigdata/hadoop/hbase120
		export PATH=$HBASE_HOME/bin:$HBASE_HOME/sbin:$HIVE_HOME/bin:$ZK_HOME/sbin:$ZK_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$NODE_HOME/bin:$JAVA_HOME/bin:$TOMCAT_HOME/bin:$PATH
	# 压缩hbase120为hbase120.tar.gz，并拷贝etc/profile和hbase120.tar.gz到以下机器
		vwslave01
		vwslave02
		vwslave03
		# 激活所有集群的环境变量 source /etc/profile
#启动/关闭hbase
	start-hbase.sh
	stop-hbase.sh
	# 启动主机上 jps
	HMaster
	# 其他主机上 jps
	HRegionServer

#NoSql : Not Only Sql
	# 【对比】		NoSQL						关系型数据库
	# 常用数据库	HBase、MongoDB、Redis		Oracle、DB2、MySQL
	# 存储格式		文档、键值对、图结构		表格式，行和列
	# 存储规范		鼓励冗余					规范性，避免重复
	# 存储扩展		横向扩展，分布式			纵向扩展（横向扩展有限）
	# 查询方式		结构化查询语言SQL			非结构化查询
	# 事务			不支持事务一致性			支持事务
	# 性能			读写性能高					读写性能差
	# 成本			简单易部署，开源，成本低	成本高
	
	#【概述】
	# 列式NoSql数据库
	# 分布式HashMap
	# HDFS存储
	
	#【特点】
	# 快：2~20毫秒
	# 随机读取：20~100k ops/s		operations per second 每秒操作次数
	# 扩展：20000+节点
	# 高并发
	
	#【应用场景】																							OpenTSDB
	# 增量数据-时间序列数据	timestamped data	高容量、高速写入	Events/SystemLogs => hbase <= AppServer	K线
	# 信息交换-消息传递						高容量、高速读写	AppServerA => hbase => AppServerB		FackBook,EMail
	# 内容服务-Web后端应用程序			高容量、高速读写	hbase => AppServer						ebay,groupon
	
	#【HBase生态圈技术】
	# Lily – 基于HBase的CRM
	# OpenTSDB – HBase面向时间序列数据管理
	# Kylin – HBase上的OLAP
	# Phoenix – SQL操作HBase工具
	# Splice Machine – 基于HBase的OLTP
	# Apache Tephra – HBase事务支持
	# TiDB – 分布式SQL DB 
	# Apache Omid - 优化事务管理
	# Yarn application timeline server v.2 迁移到HBase
	# Hive metadata存储可以迁移到HBase
	# Ambari Metrics Server将使用HBase做数据存储
	
#【hbase物理结构：如图 hbase-frame-structor.png】 分布式架构 master->slaves 
	#Client => HMaster -> HRegionServers
		#【Client】：HBase Shell、Java API、RestAPI
			#API + Cache
				#First Vist: create cache with 【regin postion】
				#Other Vists: use cache
				#Retry: fetch region and update client cache
	#Client => Zookeeper -> HMaster -> HRegionServers
		#【Zookeeper】：功能
			#HMaster 高可用：
				# 1、只有一个HMaster
				# 2、如果HMaster异常或死亡，则通过竞争机制产生新的HMaster
			#监控HRegionServer的状态
				# 当HRegionServer异常时，HMaster会通过Zookeeper收到HRegionServer上下线状态
			#元数据入口地址
	#Client => Zookeeper（ApplicationManager） -> HMaster（ResourceScheduler） -> HRegionServers
		#【HMaster】:功能
			#故障转移：监控HRegionServer，当某HRegionServer异常或死亡，将HRegion转移到其他HRegionServer上执行
			#新HRegion分配：HRegion分裂后
			#元数据变更：增删改
			#数据负载均衡：空闲时在HRegionServer之间迁移HRegion
			#发送自己位置给Client：借Zookeeper实现
		#【HRegionServer】：读写数据 -> HDFS
			#处理分配的HRegion
			#刷新Cache到HDFS
			#维护HLog（容错）
			#处理来之用户的读写请求
			#处理HRegion变大后的拆分
			#负责StoreFile的合并工作
	#HDFS
		#提供元数据和表数据的底层分布式存储服务
		#HLog
		#数据多副本，保证的高可靠和高可用性
	#HRegion
		#数据表的横向切分
		#HBase 每个表都会根 据 RowKey 值被切分成不同的 HRegion 分散存储在 HRegionServer 中
		#【物理结构：Table -> Region：如图 hbase-table-region.png】
	#Store
		#1个Region => 多个Store
		#1个Store  => 数据表中的一个列族
	#MemStore
		#内存数据 => 读写操作具体实现
	#HFile
		#这是在磁盘上保存原始数据的实际的物理文件
		#StoreFile 是以 HFile 的形式存储在 HDFS

#【hbase 逻辑架构：如图 hbase-logic-structor.png】
	#RowKey : 主键（最大64kb,实际使用10~100bytes）
		#数据根据RowKey排序
		#HRegion大小达到一定值时，裂变
		#HBase Table中的行的三种方式： 
			#1.通过单个 RowKey 访问 			get 'TAB_NAME','COL_FAMILY_NAME'
			#2.通过 RowKey 的 range（正则） 
			#3.全表扫描							scan 'TAB_NAME'
	#ColumnFamily
		#列族在在物理存储上对应于 HDFS 上的一个目录。
		#HBase 表中的每个列，都归属于某个列族。
		#列族是表的 schema 的一部分(而列不是)，必须在使用表之前定义。
		#列名都以列族作为前缀。例如 courses:history，courses:math 都属于 courses 这个列族。
		#每一个列族对应一个 Store，也对应 HDFS 一个目录，类似于 Hive 分区操作一样，HBase相当于按列族进行了分区
	#Cell
		#由{RowKey, ColumnFamily, Version} 唯一确定的单元
		#类似于excel的一个单元格，数据以字节存储，没有类型
	#Time Stamp
		#rowkey -> ColumnFamily:Column 确定cell
		#每个Cell中保存着一份数据的多个版本：以由精确到毫秒的64位整数存储，可以由HBase写入是自动生成或用户指定
		#若用户指定为避免版本冲突，一定要用单Cell中不重复的时间戳
		#单元格中的数据以时间戳倒序排序
		#为避免Cell数据过大，HBase提供两种机制：保留最新的N条数据，或保留截止当下多长时间的数据
		
#HBase原理
	#元数据存储
		#hbase:meta  => WebUI => Tables => System Tables
		#zookeeper: 存储hbase:meta位置信息
		#实际存储于：hdfs

#HBase操作
	#HBase Shell
		命令类别	命令
		General		version, status, whoami, help
		DDL			alter, create, describe, disable, drop, enable, exists, is_disabled, is_enabled, list
		DML			count, delete, deleteall, get, get_counter, incr, put, scan, truncate
		Tools		assign, balance_switch, balancer, close_region, compact, flush, major_compact, move, 
					split, unassign, zk_dump
		Replication	add_peer, disable_peer, enable_peer, remove_peer, start_replication, stop_replication
	
	# hbase shell 进入操作窗口 + 删除内容(ctl+退格键)
		#### GENERAL ####
		# version
		# status
		# whoami
		
		#### NAMESPACE ####
		# list_namespace
		# create_namespace 'NS_NAME'
		# describe_namespace 'NS_NAME'
			#两个特殊命名空间
				# 1、hbase => 存hbase内部表
				# 2、default => 没有指定命令空间的表，默认存在该default下
		
		#### TABLE ####
		# list
		# list_namespace_tables 'NS'
		# create
			# 完整方式：create 'NS:表名',{NAME=>'列族1名',VERSION='版本号',TTL='超时时间',BLOCKCACHE='是否缓存'},{...}...
				#VERSION: 版本号：默认最小版本号：0
				#TTL: 超时设定：默认值FOREVER
				#BLOCKCACHE: 设定列族是否缓存：默认为true
			# 简易方式：create '[NS:]表名','列族1名','列族2名'...
		# hp.enable
		# hp.disable
		# hp.drop		#禁用后才可以删除
		
		create 'kb08:handphone',{NAME=>'base',VERSION=>'0'},{NAME=>'price'}
		desc 'kb08:handphone'
		exists 'kb08:handphone'
		is_disabled 'kb08:handphone'
		
		#### INSERT ####
		put 'kb08:handphone','huawei','base:seriesNo','nova4'
		put 'kb08:handphone','huawei','base:cpu','4c8t'
		put 'kb08:handphone','huawei','base:resolution','1024*768'
		put 'kb08:handphone','huawei','price:costPrice','1200.00'
		put 'kb08:handphone','huawei','price:retailPrice','3200.00'
		put 'kb08:handphone','iphone','base:seriesNo','12'
		put 'kb08:handphone','iphone','base:cpu','8c8t'
		put 'kb08:handphone','iphone','base:resolution','1680*1024'
		put 'kb08:handphone','iphone','price:costPrice','1200.00'
		put 'kb08:handphone','iphone','price:retailPrice','4800.00'
		
		#ruby oop
		
		### SELECT ####
		hp = get_table 'kb08:handphone'
		hp.scan
		hp.get 'huawei'[,'base:cpu']
		
		### UPDATE ####
		hp.put 'huawei','base:cpu','8c16t'
		
		#### DELETE ####
		hp.delete 'iphone','price:retailPrice'
		hp.deleteall 'iphone'
		truncate 'kb08:handphone'
Jason&Orchid
关注
专栏目录
Hbase在Hadoop集群中的搭建
little_sloth的博客
06-28 251
Hbase在Hadoop组件中的搭建 一.安装HBase之前的环境搭建 Hadoop集群能正常运行 安装参考：https://blog.csdn.net/little_sloth/article/details/106964187 Zookeeper环境能正常运行 安装参考：https://blog.csdn.net/little_sloth/article/details/107005083 二.HBase的安装与环境的配置 下载安装包 将安装包拖入software文件夹中 将压缩包解压到opt目录
基于Hadoop HA集群部署HBase HA集群（详细版）
pysense的博客
10-28 5009
前面的博客中链接 1、前言 已经给出Hadoop3.1.2和yarn的完整部署（但还不是高可用），此篇博客将给出Hadoop的高可用部署，以及HBase高可用，为之后应用数据层开发提供底层的BigTable支持。前面的文章，我们已经深入讨论的ZooKeeper这个中间件的原理以及分布式锁的实现，事实上zookeeper使用最广泛的场景是“选举”主从角色，Hadoop以及Hbase的高可用（主从架构...
hbase2.3.3基于hadoop3.2.1的搭建
mxk4869的博客
12-22 805
1、下载安装包 官网下载：http://archive.apache.org/dist/hbase 下载这个文件：hbase-3.2.0-bin.tar.gz 2、解压 tar -zxvf hbase-3.2.0-bin.tar.gz 3、配置环境变量 export HBASE_HOME=/root/software/hbase-2.3.3 #path加 :$HBASE_HOME/bin 4、设置HBase配置文件 1) hbase-env.sh文件 修改两个地方 export J
hadoop -- Hbase
zhoushimiao1990的博客
07-12 1083
HBase是一个分布式、可扩展、面向列的数据存储（百万级别列）、可伸缩、高可靠性、实时读写的NoSQL 数据库。HBase利用 Hadoop的 HDFS作为其文件存储系统， 利用MapReduce 来处理HBase中的海量数据， 利用Zookeeper作为分布式协同服务。
hadoop集群中的HBase使用
点点的博客
03-08 287
[admin@Cluster-01 ~]$ zkServer.sh status ZooKeeper JMX enabled by default Using config: /home/admin/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg Error contacting service. It is probably not running. [admin@Cluster-01 ~]$ zkServer.sh start ZooKeeper JMX e
hbase-0.98.7-hadoop2-bin.tar
05-31
《深入理解HBase：以hbase-0.98.7-hadoop2-bin.tar为例》 ...通过对hbase-0.98.7-hadoop2-bin.tar的了解和实践，我们可以更深入地掌握HBase的工作原理和操作方法，从而在实际项目中更好地利用HBase的优势。
phoenix-hbase-2.2-5.1.2-bin.tar.gz
05-07
`phoenix-hbase-2.2-5.1.2-bin.tar.gz`这个压缩包包含了Phoenix 2.2版本与HBase 5.1.2版本的二进制文件，用户可以解压后在本地或集群环境中安装和运行。安装步骤通常包括配置环境变量、创建HBase和Phoenix的目录结构...
spark-3.1.3-bin-without-hadoop.tgz
05-20
它采用了弹性分布式数据集（Resilient Distributed Datasets, RDDs）作为其基本的数据抽象，这是一种容错性强的内存计算模型，允许数据在集群节点间快速传输和并行处理。 Spark与Hadoop的关系在于，Hadoop是大数据...
HBase详解（对hbase集群搭建、读写流程、hbase的javaApi等细致入微的讲解与保姆级的图解）
wudidahuanggua的博客
09-24 3465
细致入微的图文讲解，看了这篇文章你很难学不懂hbase
大数据开发-大数据自动化部署-包括hadoop+hive+hbase+spark+storm等组件.zip
最新发布
04-02
Hive是基于Hadoop的数据仓库工具，它允许用户使用SQL语法进行数据查询、分析和管理。Hive将SQL语句转换为MapReduce任务运行在Hadoop上，极大地简化了大数据分析的复杂性，适合离线批处理场景。 HBase是建立在Hadoop...
3.基于hadoop集群搭建hbase
06-17
基于haodoop 集群搭建hbase集群。（2台机器的情况。）
Hadoop原理与技术——Hbase的基本操作
FGGIT的博客
12-03 1145
Hadoop原理与技术——Hbase的基本操作
基于Hadoop环境搭建HBase集群
不积跬步，无以至千里
12-10 364
准备环境 使用如下三台机器进行HBase集群搭建。 49.235.8.131master 180.76.149.30slave1 180.76.179.221 slave2 集群搭建 第一步：将HBase安装包hbase-1.4.5-bin.tar.gz上传到/home/hbase目录下。 #上传命令 [root@master home]# sz -y 第二步：解压上传的...
hadoop2.10.1与Hbase 2.3.3在windows的搭建
weixin_42933886的博客
11-26 2059
因为要做一些HBase 相关的功能测试，需要再本地搭建HBase单机环境，下午准备花个把小时搭建一下单机环境，发现竟然花费了几个小时，虽然网上有很多教程和资料，有一些文件非常不靠谱，导致走了很多弯路。这里总结一遍比较完整的安装指南，给需要在windows下搭建HBase测试环境的朋友们节约一些时间。废话少说，直接写操作步骤吧： 1一.安装jdk 安装jdk和配置环境变量不在细说了。 jdk 版本建议1.8的，因为尝试过1.10的版本，Hbase启动时会报NoClassDefFoundError:org/sl
Hadoop+Hbase分布式集群架构“完全篇”
jj1130050965的博客
01-19 6234
本文收录在Linux运维企业架构实战系列 前言：本篇博客是博主踩过无数坑，反复查阅资料，一步步搭建，操作完成后整理的个人心得，分享给大家~~~ 1、认识Hadoop和Hbase 1.1 hadoop简单介绍 　　Hadoop是一个使用java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop旨在从单一服务器扩展到数千台机器，每台机器都提供本地计算和存储。 .
hadoop-ha的详细解释以及安装
Better0417的博客
08-29 536
一、hadoop ha 是什么？ hadoop2版本中可以有多个namenode结点，一个是活跃（active）状态，一个是准备（standby）状态。（haoop 1不存在此特性） 二、安装 [root@vwmaster hadoop]# pwd /opt/bigdata/hadoop/hadoop260/etc/hadoop ------------------------hadoop evironment-------------------------# [root@vwmaster hadoop]
计算下微软Windows Azure HDInsight中Hadoop和HBase的成本和省钱秘籍
每一天都有新的希望
12-11 3071
计算下微软Windows Azure HDInsight中Hadoop和HBase的成本和省钱秘籍 计算： 以一个最简单Hadoop集群来计算，需要两个头节点（Namenode）和两个数据节点（Datanode）以及3个Zookeeper结点，这样算下来每小时要5.44+2.72*2+0*3=10.88RMB，每天需要10.88*24=261.12RMB，每个月需要261.12*30=7833.6RMB，这是最低配置！
Hadoop系列（三） Hbase搭建全分布式集群
羽枫760的博客
10-28 341
1.搭建Hbase全分布式集群环境 全分布式环境在已经搭建好的单机环境基础上继续构建，需要停止单机的hbase服务。 1.1编辑hbase配置文件 修改hbase-site.xml文件 指定hbase以分布式模式运行，另外还需要指定master主机dfs运行的地址，这个地址需要和之前搭建hadoop中core-site.xml所配置的fs.defaultFS一致，apache hbase官网给的端口是8020，因为在hadoop配置fs.defaultFS时配置的是8020.这个以自己的配置为准，不过目前a
Hadoop+Hbase集群环境搭建
weixin_42429598的博客
05-05 853
Hadoop+Hbase集群环境搭建修改用户名配置Hosts安装 Java 环境下载 Hadoop + Hbase合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowc...
"基于Hadoop的自动化大规模集群部署与管理系统设计与实现
本文以在中移软件研发中心工作期间参与的大数据项目为背景，着重研究Hadoop相关系统的设计思想和基本框架，并设计和实现一个自动化、可扩展、可监控、可管理的应用于大规模Hadoop集群的部署管理系统。首先，通过分析...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值