![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
逆水行舟如何
热爱开源,喜欢去研究各种源码
展开
-
HBase深入理解
可能有的图片显示不出来,如有需要,请留邮箱我发给你!文章目录1、Hbase基本介绍1.1 什么是HBase1.2 Hbase有什么特点1.3 Hbase表结构1.4 Hbase基本架构1.4.1 Region Server1.4.2 HBase Master1.4.3 Zookeeper1.4.4 这些组件如何一起协调工作2、深入理解HBase的原理2.1 client 访问HBase的数据2.2 深入Region Server2.3 Client 写数据到HBase2.4 MenStore Flush原创 2020-07-09 16:56:52 · 301 阅读 · 0 评论 -
HBase 刷写与合并机制介绍
HBase 是目前主流的 NoSQL 数据库,是一个高可靠、高性能、高伸缩的分布式 KV 存储系统,本文讲解 HBase 两个核心机制——刷写(Flush)与合并(Compaction),重点介绍其原理及参数配置建议。1、为什么要进行刷写和合并 HBase 是 Google BigTable 的开源实现,底层存储引擎是基于 LSM树(Log-St...原创 2020-04-22 10:12:39 · 188 阅读 · 0 评论 -
HBase API操作
1、导入依赖<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.2.6</version></dependency><dependency...原创 2020-03-20 17:28:05 · 117 阅读 · 0 评论 -
HBase数据压缩方式的介绍与实战
1、HBase数据压缩方式的介绍为了提高HBase存储的利用率,很多HBase使用者会对 HBase 表中的数据进行压缩。目前 HBase 可以支持的压缩方式有 GZ(GZIP)、LZO、LZ4 以及 Snappy。它们之间的区别如下:GZ:用于冷数据压缩,与 Snappy 和 LZO 相比,GZIP 的压缩率更高,但是更消耗 CPU,解压/压缩速度更慢。 Snappy 和 LZ...原创 2019-09-20 19:29:24 · 4218 阅读 · 1 评论 -
HBase的优化(参数)
配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regions重新balance,让其他存活的RegionServer接管.调优:这个timeou...原创 2019-07-08 15:45:53 · 609 阅读 · 0 评论 -
Hive整合HBase
一、使用1、启动 第一种方法:可以使用下面命令启动Hive,使之拥有读取HBase的功能,如果你的HBase只有一台机器(single-node HBase server),可以使用下面命令启动hive client:$HIVE_HOME/bin/hive --auxpath $HIVE_HOME/lib/hive-hbase-handler-1.2.0.jar,$H...原创 2019-01-16 12:35:53 · 233 阅读 · 0 评论 -
通过Bulkload将海量数据导入到HBase的方法
在第一次建立HBase表的时候,我们可能需要往里面一次性导入大量的初始化数据。我们很自然地想到将数据一条一条的插入到Hbase中,或者通过MR方式等。但是这些方式不是慢就是在导入的过程的占用Region资源导致效率低下,所有不适合一次性导入大量数据。 接下来针对这个问题介绍如何通过Hbase的BulkLoad方法快速将海量数据导入到HBase中。 ...原创 2019-01-21 19:49:12 · 781 阅读 · 0 评论 -
HBase RowKey的设计
一、为什么Row这么重要一张HBase表设计的好不好,就看它的RowKey设计的好不好。可见RowKey在HBase中的地位!1、RowKey的特点: 类似于MySQL、Oracle中的主键,用于标识唯一的行; 完全是由用户指定的一串不重复的字符串; HBase中的数据永远是根据RowKey的字典排序来排序的;2、RowKey的作...原创 2019-01-15 14:21:00 · 172 阅读 · 0 评论 -
HBase的高表和宽表
1、概念hbase中的宽表是指很多列较少行,即列多行少的表,一行中的数据量较大,行数少;hbase中高表是指很多行较少列,即行多列少,一行中的数据量较少,行数大。 2、优缺点hbase的row key是分布式的索引,也是分片的依据。hbase的row key + column family + column qualifier + timestamp + value 是HFi...原创 2019-01-13 22:12:25 · 746 阅读 · 0 评论 -
Hbase的详细介绍及底层原理
一、hbase介绍hbase的产生背景:当数据量过于庞大的时候 数据的快速查询是很难实现的GFS-------分布式存储的MAPERREDUCE------分布式计算的BIGTABLE------分布式数据库 快速查询hbase是什么?hbase是一个分布式的列式存储数据库 nosql的数据库1)no sql hbase不支持标准sql 不支持sql语句的,基于hb...原创 2018-12-23 14:48:47 · 1891 阅读 · 0 评论