Hbase
文章平均质量分 70
Running_Tiger
这个作者很懒,什么都没留下…
展开
-
Hive整合Hbase(一)
Hive整合Hbase(一)1、简介Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。2、应用场景1、将ETL操作的数据存入HBase 2、HBase作为Hive的数据源 3、构建低延时的数据仓库 3、环境准备3.1...原创 2018-03-16 18:47:39 · 2067 阅读 · 2 评论 -
Hbase寻址机制
Hbase寻址机制1、寻址示意图2、-ROOT-和.META.表结构-ROOT-表结构.META.行记录结构3、寻址流程现在假设我们要从Table2里面查询一条RowKey是RK10000的数据。那么我们应该遵循以下步骤: 1. 从.META.表里面查询哪个Region包含这条数据。 2. 获取管理这个Region的RegionServer地址。...原创 2018-03-14 00:12:36 · 6053 阅读 · 0 评论 -
Hbase读写过程
Hbase读写过程1、读请求过程客户端通过zookeeper以及root表和meta表找到目标数据所在的regionserver联系regionserver查询目标数据regionserver定位到目标数据所在的region,发出查询请求region先在memstore中查找,命中则返回如果在memstore中找不到,则在storefile中扫描(可能会扫描到很多的store...原创 2018-03-14 00:12:53 · 1848 阅读 · 0 评论 -
Hbase Region管理
Hbase Region管理1、region分配任何时刻,一个region只能分配给一个region server。master记录了当前有哪些可用的region server。以及当前哪些region分配给了哪些region server,哪些region还没有分配。当需要分配的新的region,并且有一个region server上有可用空间时,master就给这个region s...原创 2018-03-14 00:13:07 · 604 阅读 · 0 评论 -
Hbase Master工作机制
Hbase Master工作机制1、master上线master启动进行以下步骤:从zookeeper上获取唯一一个代表active master的锁,用来阻止其它master成为活着的master。扫描zookeeper上的server父节点,获得当前可用的region server列表。和每个region server通信,获得当前已分配的region和region se...原创 2018-03-14 00:13:19 · 4128 阅读 · 0 评论 -
HBase容错性
HBase容错性1、Master容错Zookeeper重新选择一个新的Master无Master过程中,数据读取仍照常进行;无Master过程中,region切分、负载均衡等无法进行;2、RegionServer容错定时向Zookeeper汇报心跳,如果一旦时间内未出现心跳,Master将该RegionServer上的Region重新分配到其他RegionServ...原创 2018-03-14 00:13:33 · 592 阅读 · 0 评论 -
Hbase高级应用(一)建表高级属性
Hbase建表高级属性1、BLOOMFILTER默认是NONE 是否使用布隆过虑及使用何种方式 布隆过滤可以每列族单独启用。 使用 HColumnDescriptor.setBloomFilterType(NONE | ROW | ROWCOL) 对列族单独启用布隆。 Default = ROW 对行进行布隆过滤。对 ROW,行键的哈希在每次插入行时将被添加到布隆。对 ROWCOL,行键原创 2018-03-14 00:13:57 · 4098 阅读 · 0 评论 -
Hbase高级应用(二)行键设计
行键设计表结构设计1、列族数量的设定以用户信息为例,可以将必须的基本信息存放在一个列族,而一些附加的额外信息可以放在另一列族;2、行键的设计语音详单: 13877889988-20150625 13877889988-20150625 13877889988-20150626 13877889988-20150626 —-将需要批量查询的数据尽可能连续存放 CMS系统—多条件查询 尽可原创 2018-03-14 00:21:27 · 778 阅读 · 0 评论 -
Hbase高级应用(三)Hbase的设计原则
Hbase的设计原则HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录,有以下3种查询方式:通过get方式,指定rowkey获取唯一一条记录通过scan方式,设置startRow和stopRow参数进原创 2018-03-14 00:27:04 · 635 阅读 · 0 评论 -
Hbase物理存储
Hbase物理存储1、整体结构Table中的所有行都按照row key的字典序排列。Table 在行的方向上分割为多个Hregion。region按大小分割的(默认10G),每个表一开始只有一个region,随着数据不断插入表,region不断增大,当增大到一个阀值的时候,Hregion就会等分会两个新的Hregion。当table中的行不断增多,就会有越来越多的Hregion。Hregio原创 2018-03-13 20:36:03 · 1148 阅读 · 0 评论 -
Hbase系统架构
Hbase系统架构1、Client包含访问hbase的接口,client维护着一些cache来加快对hbase的访问,比如region的位置信息。2、Zookeeper保证任何时候,集群中只有一个master存贮所有Region的寻址入口—-root表在哪台服务器上。实时监控Region Server的状态,将Region server的上线和下线信息实时通知给Master存储Hbase的s原创 2018-03-13 20:15:20 · 477 阅读 · 0 评论 -
Hive整合Hbase(二)
Hive整合Hbase实战1、hbase表映射到hive表中1、在hbase中创建表:表名hbase_test, 有三个列族 f1、f2、f3create 'hbase_test',{NAME => 'f1',VERSIONS => 1},{NAME => 'f2',VERSIONS => 1},{NAME => 'f3',VERSIONS => 1}2、插入数据put 'hbase_tes原创 2018-03-16 20:22:42 · 517 阅读 · 0 评论 -
HBASE数据库
HBASE数据库1、Hbase特点1、大:一个表可以有上十亿行,上百万列2、无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中不同的行可以有截然不同的列;3、面向列:面向列(族)的存储和权限控制,列(族)独立检索。4、稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏。5、数据多版本:每个单元中的数据可以有多个版本,默认情况下版本号原创 2018-03-13 13:27:41 · 713 阅读 · 0 评论 -
Hbase集群结构
Hbase集群结构hbase集群结构图Hbase基本组件说明:Client:包含访问Hbase的接口,并维护cache来加快对Hbase的访问,比如region的位置信息。HMaster:是hbase集群的主节点,可以配置多个,用来实现HA为RegionServer分配region负责RegionServer的负载均衡发现失效的RegionServer并重新分配其上的regionRegi原创 2018-03-13 19:11:54 · 424 阅读 · 0 评论 -
hbase集群搭建
hbase集群搭建—-先部署一个zookeeper集群1.上传hbase安装包hbase-1.2.1-bin.tar.gz2.解压tar -zxvf hbase-1.2.1-bin.tar.gz -C /var/loca/mv hbase-1.2.1-bin hbase3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)注意:要把hadoop的hdfs-site.xml和core原创 2018-03-13 19:15:19 · 236 阅读 · 0 评论 -
hbase命令行演示
hbase命令行演示进入hbase命令行./hbase shell显示hbase中的表list创建user表,包含info、data两个列族create 'user', 'info', 'data' 或者create 'user', {NAME => 'info', VERSIONS => '3'},{NAME => 'data'}向user表中插入信息,row key为rk0001,原创 2018-03-13 19:17:05 · 284 阅读 · 0 评论 -
hbase java代码开发
基本增删改查java代码实现public class HbaseDemo { private Configuration conf = null; @Before public void init(){ conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum", "i原创 2018-03-13 19:18:59 · 209 阅读 · 0 评论 -
hbase过滤器查询
hbase过滤器查询引言:过滤器的类型很多,但是可以分为两大类比较过滤器专用过滤器过滤器的作用是在服务端判断数据是否满足条件,然后只将满足条件的数据返回给客户端;hbase过滤器的比较运算符:LESS <LESS_OR_EQUAL <=EQUAL =NOT_EQUAL <>GREATER_OR_EQUAL >=GREATER >NO_OP 排除所有Hbase过滤器的比较器(指定比原创 2018-03-13 20:06:01 · 588 阅读 · 0 评论 -
Hbase的过滤器分类
Hbase的过滤器分类1、比较过滤器1.1、行键过滤器RowFilterFilter filter1 = new RowFilter(CompareOp.LESS_OR_EQUAL, new BinaryComparator(Bytes.toBytes("row-22"))); scan.setFilter(filter1); 1.2、列族过滤器FamilyFilterFilter filte原创 2018-03-13 20:07:25 · 514 阅读 · 0 评论 -
Hbase高级应用(四)热点问题
热点问题HBase中的行是按照rowkey的字典顺序排序的,这种设计优化了scan操作,可以将相关的行以及会被一起读取的行存取在临近位置,便于scan。然而糟糕的rowkey设计是热点的源头。 热点发生在大量的client直接访问集群的一个或极少数个节点(访问可能是读,写或者其他操作)。大量访问会使热点region所在的单个机器超出自身承受能力,引起性能下降甚至region不可用,这也会影响同一个R原创 2018-03-14 00:38:06 · 607 阅读 · 0 评论