HBase
阿豪963
这个作者很懒,什么都没留下…
展开
-
hive与hbase整合
Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的,其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现,通信原理如下图所示。Hive整合HBase后的使用场景:(一)通过Hive把数据加载到HBase中,数据源可以是文件也可以是Hive中的表。(二)通过整合,让HBase支持JOIN、GROUP等S...转载 2018-06-20 22:29:40 · 1269 阅读 · 1 评论 -
HBase的简单过滤器
在hbase shell中查询数据,可以在hbase shell中直接使用过滤器:# hbase shell> scan 'testByCrq', FILTER=>"ValueFilter(=,'substring:111')"12如上命令所示,查询的是表名为testByCrq,过滤方式是通过value过滤,匹配出value含111的数据。 因在hbase shell中一些操作比较麻...转载 2018-06-21 12:42:58 · 151 阅读 · 0 评论 -
Hbase 过滤器API
filter ==> SQL 中的Wherefilter的执行流程:过滤器在客户端创建,然后通过RPC发送到服务器上,由服务器执行 基础过滤器: 比较器:Comparator Description LongComparatorAssumes the given value array is a Java Long number and uses Bytes.toLong() to conv...转载 2018-06-21 12:48:12 · 328 阅读 · 0 评论 -
hive和hbase结合
摘要Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询使用1.从Hive中创建HBase表使用HQL语句创建一个指向HBase的Hive表CREATE TABLE hbase_table_1(key int, value string) //Hive中的表名hbase_table_1STORED BY 'org.apa...原创 2018-06-24 20:05:16 · 306 阅读 · 1 评论 -
maven创建hbase操作
1 pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/m...原创 2018-06-19 19:57:49 · 2589 阅读 · 0 评论 -
hbase架构
1 HBase的构成物理上来说,HBase是由三种类型的服务器以主从模式构成的。这三种服务器分别是:Region server,HBase HMaster,ZooKeeper。其中Region server负责数据的读写服务。用户通过沟通Region server来实现对数据的访问。HBase HMaster负责Region的分配及数据库的创建和删除等操作。ZooKeeper作为HDFS的一部分,...翻译 2018-06-19 22:46:47 · 153 阅读 · 0 评论 -
HBase优化
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。Auto Flash通过调用HTable.setAutoFlushTo(false)方法可以将HTable写客户端自动flush关闭,这样可以批量写入数据到HBase,而不是有一条put就执行一次更新,只有当put填满客户端写缓存的时候,才会向HBase服务端发起写请求。默认情况下auto flush是开启的。Write ...翻译 2018-06-19 23:19:19 · 115 阅读 · 0 评论 -
HBase拆分合并
Split拆分说明:Split entire table or pass a region to split individual region. With the second parameter, you can specify an explicit split key for the region. Examples:split 'tableName'split 'names...翻译 2018-06-19 23:32:29 · 1357 阅读 · 0 评论