Hbase讲解与安装与配置部署

目录

1.讲解

一、HBase的起源与背景

二、HBase的特点

三、HBase的架构

四、HBase的数据模型

五、HBase的访问接口

六、HBase的使用场景

2.安装

3.配置部署

1.讲解

HBase是一个分布式的、面向列的开源数据库,它是Apache Hadoop项目的子项目。以下是对HBase的详细讲解:

一、HBase的起源与背景

HBase的技术来源于Fay Chang所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。HBase在Hadoop之上提供了类似于Bigtable的能力,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

二、HBase的特点

高可靠性:HBase采用了自动故障检测和恢复技术,可以实现数据的高可靠性。

高性能:HBase采用了基于Memcached的存储引擎,可以实现高速的读写操作。同时,HBase支持高效的随机读写操作,可以在毫秒级别内完成数据访问。

面向列:与一般的关系数据库不同,HBase是基于列的而不是基于行的模式。这意味着在HBase中,数据是按照列族(Column Family)来组织的,而不是按照行来组织的。

可伸缩性:HBase采用了分布式存储和计算技术,可以实现数据的水平扩展。它可以处理PB级别的数据量,适合于存储大规模的数据。

实时性:HBase支持基于数据流的实时数据处理,可以实现数据的实时生成、传输和处理。这使得HBase在实时数据处理和可视化方面具有重要的应用价值。

三、HBase的架构

HBase的架构包括以下几个主要组件:

RegionServer:RegionServer是Region的管理者,主要负责对Region的操作,如分裂(Split)和合并(Compact)等。

Master:Master是所有RegionServer的管理者,主要负责对RegionServer的监控、负载均衡和故障转移等操作。同时,Master还负责维护HBase的元数据。

Zookeeper

Hbase安装配置 1、前提:要有装好的hdfs分布式文件系统和zookeeper集群 2、各台linux机器上传hbase安装包:hbase-0.98.12.1-hadoop2-bin.tar.gz 3、解压jar包:tar -zxvf hbase-0.98.12.1-hadoop2-bin.tar.gz 4、把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下: cd root/hadoop/etc/hadoop scp -r hdfs-site.xml /root/hbase-0.98.12.1-hadoop2/conf/ scp -r core-site.xml /root/hbase-0.98.12.1-hadoop2/conf/ 4、配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 5、修改hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_xxx (1)、告诉hbase使用外部的zk export HBASE_MANAGES_ZK=false 6、修改vim hbase-site.xml <property> <name>hbase.rootdir</name> <value>hdfs://namenade/hbase</value>//this is your real nodename. </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/opt/zookeeper</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>node11,node12,node13</value> </property> 7、修改vim regionservers (指定regionserver) Node11 node12 node13 8、指定 standby 的hbase的副节点,注意:该文件不存在,需要创建 vim backup-masters Node12 9、拷贝hbase到其他节点或机器 Cd /root/hbase-0.98.12.1-hadoop2 scp -r conf node12:/root/hbase-0.98.12.1-hadoop2/ scp -r conf node13:/root/hbase-0.98.12.1-hadoop2/ 10、设置私钥并同步时间。 11、启动所有的hbase (1)、分别启动zk /home/zookeeper-xxx/bin/./zkServer.sh start (2)、启动hdfs集群 /root/hadoop/sbin/./start-dfs.sh (3)、启动hbase,在主节点上运行: /root/hbase-0.98.12.1-hadoop2/bin/./start-hbase.sh 12、通过浏览器访问hbase管理页面 Node11:60010 Node12:60010 Node11:50070 Node12:50070 13、为保证集群的可靠性,要启动多个HMaster hbase-daemon.sh start master
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值