Hbase
13460286086
这个作者很懒,什么都没留下…
展开
-
hbase过滤器
base过滤器的比较操作符:LESS LESS_OR_EQUAL EQUAL =NOT_EQUAL GREATER_OR_EQUAL >=GREATER >NO_OP no operation比较器:BinaryComparator 按字节索引顺序比较指定字节数组,采用Bytes.compareTo(byte[])转载 2014-03-30 22:44:46 · 874 阅读 · 0 评论 -
HBase建表的同时建分区
使用HBase Shell建表的时候,除了一些常用的option以外,我们还可以同时建立一些预分区,这样可以预防初次插入数据时热点问题。通过直接输入create,我们可以看到有如下提示:?123456789101112Examples: hbase> create't1', {NAME转载 2014-03-25 18:11:56 · 1311 阅读 · 0 评论 -
MapReduce生成HFile入库到HBase
一、这种方式有很多的优点:1. 如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 “Bulk Loading”方法,即HBase提供的HFileOutputFormat类。2. 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理,直接生成这种hdfs内存储的数据格式文件,然后上传至合适位置,即完成巨量数据快速入转载 2014-03-25 18:19:40 · 627 阅读 · 0 评论 -
HBase Multi-Master设置
为了保证HBase集群的高可靠性,HBase支持多Backup Master 设置。当Active Master挂掉后,Backup Master可以自动接管整个HBase的集群。该配置极其简单:在$HBASE_HOME/conf/ 目录下新增文件配置backup-masters,在其内添加要用做Backup Master的节点hostname。如下:[root@master]$ ca转载 2014-03-25 18:16:40 · 828 阅读 · 0 评论 -
深入理解HBase Memstore
MemStore是HBase非常重要的组成部分,深入理解MemStore的运行机制、工作原理、相关配置,对HBase集群管理以及性能调优有非常重要的帮助。HBase Memstore首先通过简单介绍HBase的读写过程来理解一下MemStore到底是什么,在何处发挥作用,如何使用到以及为什么要用MemStore。图一:Memstore Usage in HBase Read/Wri转载 2014-03-25 18:22:34 · 621 阅读 · 0 评论 -
HBase修改压缩格式及Snappy压缩实测分享
一、要点有关Snappy的相关介绍可参看Hadoop压缩-SNAPPY算法,如果想安装Snappy,可以参看Hadoop HBase 配置 安装 Snappy 终极教程。1. HBase修改Table压缩格式步骤2. 实测结果分享二、HBase修改Table压缩格式步骤修改HBase压缩算法很简单,只需要如下几步:1. hbase shell命令下,disable相关表转载 2014-03-25 18:14:06 · 886 阅读 · 0 评论