Hbase
文章平均质量分 71
牛逸凡
不断探索中。
展开
-
Hbase(一)基础知识
一、Hbase数据库介绍 1、简介 HBase 是 BigTable 的开源 java 版本。是建立在 HDFS 之上,提供高可靠性、高性能、列存储、 可伸缩、实时读写 NoSQL 的数据库系统。 NoSQL = NO SQL NoSQL = Not Only SQL 把 NoSQL 数据的原生查询语句 封装成 SQL HBase Phoe...原创 2018-07-15 20:55:32 · 885 阅读 · 0 评论 -
Hbase(二)hbase建表
一、建表高级属性 下面几个 shell 命令在 hbase 操作中可以起到很到的作用,且主要体现在建表的过程中,看 下面几个 create 属性 1、bloomfilter 布隆过滤器 默认是 NONE 是否使用布隆过虑及使用何种方式, 布隆过滤可以每列族单独启用 使用 HColumnDescriptor.setBloomFilterType(NONE ...原创 2018-07-15 20:55:48 · 24593 阅读 · 0 评论 -
Hbase(三) hbase协处理器与二级索引
一、协处理器—Coprocessor 1、 起源Hbase 作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执 行求和、计数、排序等操作。比如,在旧版本的(<0.92)Hbase 中,统计数据表的总行数,需 要使用 Counter 方法,执行一次 MapReduce Job 才能得到。虽然 HBase 在数据存储层中集成了 MapReduce,能够有效...原创 2018-07-15 20:56:00 · 512 阅读 · 0 评论 -
Hbase(四) 过滤器查询
引言:过滤器的类型很多,但是可以分为两大类——比较过滤器,专用过滤器过滤器的作用是在服务端判断数据是否满足条件,然后只将满足条件的数据返回给客户端;一、hbase过滤器的分类 1、比较过滤器 行键过滤器 RowFilterFilter filter1 = new RowFilter(CompareOp.LESS_OR_EQUAL, new BinaryComparator(Byt...原创 2018-07-15 20:56:14 · 944 阅读 · 0 评论 -
Hbase(五) hbase内部原理
一、系统架构 客户端连接hbase依赖于zookeeper,hbase存储依赖于hadoop client:1、包含访问 hbase 的接口, client 维护着一些 cache(缓存) 来加快对 hbase 的访问,比如 region 的 位置信息。 (经常使用的表的位置信息) zookeeper:1、保证任何时候,集群中只有一个 master2、存贮所有 Region 的...原创 2018-07-16 14:26:50 · 195 阅读 · 0 评论 -
Hbase(六) hbase Java API
一、几个主要 Hbase API 类和数据模型之间的对应关系:1、 HBaseAdmin关系: org.apache.hadoop.hbase.client.HBaseAdmin作用:提供了一个接口来管理 HBase 数据库的表信息。它提供的方法包括:创建表,删 除表,列出表项,使表有效或无效,以及添加或删除表列族成员等。2、 HBaseConfiguration关系: org.apache....原创 2018-07-16 14:26:58 · 254 阅读 · 0 评论 -
Hbase(七)hbase高级编程
一、Hbase结合mapreduce 为什么需要用 mapreduce 去访问 hbase 的数据? ——加快分析速度和扩展分析能力 Mapreduce 访问 hbase 数据作分析一定是在离线分析的场景下应用 1、HbaseToHDFS 从 hbase 中读取数据,分析之后然后写入 hdfs,代码实现: 12345678...原创 2018-07-16 14:27:07 · 383 阅读 · 0 评论 -
HIVE和HBASE区别
Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase是一种Key/Value系统,它运行在HDFS之...原创 2018-07-30 17:31:10 · 321 阅读 · 0 评论