HBase
文章平均质量分 90
Fenggms
好好学习,天天向上。
展开
-
HBase(01)——HBase数据库基础
HBase基础HBase数据库介绍HBase特点HBase的存储机制HBase中的表的特点HBase数据库介绍HBase是基于Google BigTable模型开发的,典型的key/value系统。正如Bigtable利用Google文件系统提供的分布式数据存储一样,HBase在Hadoop和HDFS之上提供类似Bigtable的功能。它是建立在hdfs之上,提供高可靠性、高性能、列存储、可...原创 2018-10-03 14:45:35 · 463 阅读 · 0 评论 -
HBase(09)——HBase 建表高级属性
hbase 表预分区----手动分区 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions,这样当数据写入HBase时,会按照region分区情况,在集群内做数据的负载均衡。命令方式:create ‘...原创 2018-10-09 21:54:55 · 320 阅读 · 0 评论 -
HBase(08)——HBase Region管理及容错性
Region管理1、region分配任何时刻,一个region只能分配给一个region server。master记录了当前有哪些可用的region server。以及当前哪些region分配给了哪些region server,哪些region还没有分配。当需要分配新的region,并且有一个region server上有可用空间时,master就给这个region server发送一个...原创 2018-10-09 21:30:36 · 356 阅读 · 0 评论 -
HBase(07)——HBase读写过程
读请求过程(1) client通过zookeeper以及root表和meta表找到目标数据所在的regionserver(2)联系regionserver查询目标数据所在region(3)regionserver定位到目标数据所在的region,发出查询请求(4)region先在memstore中查找,查找到则返回结果(5)如果在memstore中没有查询到,则在storefile中扫描...原创 2018-10-09 21:13:28 · 223 阅读 · 0 评论 -
hbase和hive整合实战
hbase表映射到hive表中① 在hbase中创建表:表名hbase_test, 有三个列族 f1、f2、f3原创 2018-10-13 23:58:11 · 579 阅读 · 0 评论 -
Hive 整合Hbase环境配置
Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。1、应用场景ETL操作的数据存入HBaseHBase作为Hive的数据源构建低延时的数据仓库2、环境准备hive与hbase版本兼容性Hive版本 hive-1.2.1、hbase的版本hbase-1...原创 2018-10-13 23:56:53 · 1372 阅读 · 0 评论 -
HBase(06)——HBase寻址机制
建表高级属性下面几个create 属性:1、BLOOMFILTER 默认是Row布隆过滤可以每列族单独启用。使用 HColumnDescriptor.setBloomFilterType(NONE | ROW | ROWCOL) 对列族单独启用布隆。 Default = ROW 对行进行布隆过滤。 对 ROW,行键的哈希在每次插入行时将被添加到布隆。 对 ROWCOL,行键 ...原创 2018-10-03 23:27:16 · 254 阅读 · 0 评论 -
HBase(05)——HBase内部原理
系统架构Client1 包含访问hbase的接口,client维护着一些cache来加快对hbase的访问,比如region的位置信息。Zookeeper1 保证任何时候,集群中只有一个master2 存贮所有Region的寻址入口----root表在哪台服务器上。3 实时监控Region Server的状态,将Region server的上线和下线信息实时通知给Master4 存...原创 2018-10-03 17:28:33 · 255 阅读 · 0 评论 -
HBase(04)——HBase基本shell命令
进入hbase命令行./hbase shell显示hbase中的表list创建user表,包含info、data两个列族create ‘user’, ‘info’, ‘data’或者create ‘user’, {NAME => ‘info’, VERSIONS => ‘3’},{NAME => ‘data’}向user表中插入信息,row key为rk0001,...原创 2018-10-03 17:25:04 · 459 阅读 · 0 评论 -
HBase(03)——HBase集群及集群搭建
1、hbase集群结构2、Hbase集群基本组件说明Client:包含访问Hbase的接口,并维护cache来加快对Hbase的访问,比如region的位置信息。HMaster:是hbase集群的主节点,可以配置多个,用来实现HA为RegionServer分配region负责RegionServer的负载均衡发现失效的RegionServer并重新分配其上的regionRegi...原创 2018-10-03 17:18:57 · 10794 阅读 · 0 评论 -
HBase(02)——HBase数据模型
表结构HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(column family)。HBase表由多行组成。行HBase中的一行由一个行键和一个或多个具有与之关联的值的列组成。行存储时,行按字母顺序排序。因此,行键的设计非常重要。目标是以相关行彼此靠近的方式存储数据。常见的行键模式是网站域。如果您的行键是域,则应该反向存储它们(org.apache.www,org.ap...原创 2018-10-03 15:18:48 · 445 阅读 · 0 评论 -
HBase(10)——HBase设计原则
表结构设计列族数量的设定以用户信息为例,可以将必须的基本信息存放在一个列族,而一些附加的额外信息可以放在另一列族;尽量避免设计过多的列族。行键的设计设计原则:将需要批量查询的数据尽可能连续存放CMS系统----多条件查询尽可能将查询条件关键词拼装到rowkey中,查询频率最高的条件尽量往前靠HBase的设计原则HBase是三维有序存储的,通过rowkey(行键),column ...原创 2018-10-09 22:16:50 · 304 阅读 · 0 评论