hbase
韩利鹏
大数据处理-java高级工程师
展开
-
Hbase shell命令简单使用
hbase shell命令的简单使用进入hbase命令行./hbase shell显示hbase中的表list创建user表,包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息,row key为rk0001,列族info中添加name列标示原创 2016-10-06 11:46:43 · 5998 阅读 · 0 评论 -
HBase的分页-PageFilter
使用PageFilter分页效率比较低,应为每次都需要扫描前面的数据,直到扫描到所需要查的数据,但是查询下一页的时候可以直接利用上一页的rowkey来直接查出Filter是定义每次scan得出多少条记录, 下面看用PageFilter实现分页的(最好使用rowksy,不建议使用过滤器,过滤器效率太低,设计表的时候设计一个好的rowkey可以带来好多的便利的条件)代码记录:package hbase原创 2016-11-17 17:38:01 · 12776 阅读 · 0 评论 -
Hbase协处理器(Coprocessor)
观察者的设计意图是允许用户通过插入代码来重载协处理器框架的upcall方法,而具体的事件触发的callback方法由HBase的核心代码来执行。协处理器框架处理所有的callback调用细节,协处理器自身只需要插入添加或者改变的功能。以HBase它提供了三种观察者接口:RegionObserver:提供客户端的数据操纵事件钩子:Get、Put、Delete、Scan等。 WALObserver:提原创 2016-11-17 20:13:37 · 830 阅读 · 0 评论 -
hbase集群搭建
1.上传hbase安装包2.解压3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉hbase使用外部的zk export HBASE_MANAG原创 2016-11-14 22:03:31 · 705 阅读 · 1 评论 -
hbase存储机制
1:hbase表和传统的数据库表结构的区别 传统的数据库是一每行作为数据存储,在设计数据库的时候就需要设计好字段,增加字段主要修改表结构,会产生大量的冗余,hbase在设计表的时候不需要设计字段,字需要设计列族,字段在插入数据的时候再指定,并且不会造成冗余字段 2:hbase的表是怎么存储的 hbase是存储大量数据的数据库,所以说表一般都很大,这么大的数据不能够存储在一台机子上,所以存储的时原创 2017-02-04 17:51:09 · 2812 阅读 · 0 评论 -
hbase的java操作
操作hbase的分为两种,一种ddl dml,一种是获得HBaseAdmin(见表删表),一种是获得HTable(增删改查)代码:import java.io.IOException;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBase原创 2017-02-05 17:04:26 · 580 阅读 · 0 评论 -
hbase与mysql的区别
Hbase的优缺点 1 列的可以动态增加,并且列为空就不存储数据,节省存储空间.2 Hbase自动切分数据,使得数据存储自动具有水平scalability.3 Hbase可以提供高并发读写操作的支持Hbase的缺点:1 不能支持条件查询,只支持按照Row key来查询.2 暂时不能支持Master server的故障切换,当Master宕机后,整个存储系统就会挂掉.补充 1.数据类型,Hbas原创 2017-02-23 21:52:36 · 13295 阅读 · 1 评论 -
Hbase索引
Hbase只有rowkey有索引,其索引形式是LSM.讲LSM树之前,需要提下三种基本的存储引擎,这样才能清楚LSM树的由来:哈希存储引擎 是哈希表的持久化实现,支持增、删、改以及随机读取操作,但不支持顺序扫描,对应的存储系统为key-value存储系统。对于key-value的插入以及查询,哈希表的复杂度都是O(1),明显比树的操作O(n)快,如果不需要有序的遍历数据,哈希表就是yo转载 2018-01-18 14:38:08 · 1920 阅读 · 0 评论