shuhuai007的专栏

I want to share a little hack I used to be able to consume TableMapper with or without filters in Oozie Workflow. The first think to understand is how TableMapReduceUtil.initTableMapperJob works.

转载：http://zjushch.iteye.com/blog/15301431.Bloomfilter的原理？ 可参考 http://hi.baidu.com/yizhizaitaobi/blog/item/cc1290a0a0cd69974610646f.html 2.Bloomfilter在HBase中的作用？ HBase利用Bloomfilter来提高随机读（

一、概述HBase有很多种方法将数据加载到表中，最简单直接的方法就是通过MapReduce调用TableOutputFormat方法，或者在client上调用API写入数据。但是，这都不是最有效的方式。这篇文档将向你描述如何在HBase中加载大数据。采用MapReduce作业，将数据以HBase内部的组织格式输出成文件，然后将数据文件加载到已运行的集群中。（注：就是

Increment V.S. Read-Modify-Write in HBase在 HBase: The Definitive Guide 中，Lars George 介绍了 HBase 的一个新特性 Counter Increment，即把一个 column 当作 一个 counter，这样便于给某些应用提供统计功能。传统上，如果没有 counter，当我们要给一个 column

https://issues.apache.org/jira/browse/HBASE-5128 https://github.com/jmhsieh/hbase-repair-scripts  HBASE-5128之前版本的HBCK：检查master、regionserver内存中的状态以及hdfs上面数据的状态之间的一致性  （1）获取所有region的信息（reg

本文来自于NoSQLFan联合作者@koven2049，他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解，本文就是其在工作中对HBase的应用优化小结，分享给大家。目 录 [ - ]前言原因应用情况部署、运维和监控测试与发布改进和优化将来计划前言hbase是从 hadoop中分离出来的apache顶级开源项目。由

最近做一个基于HBase 的大日志存储，分析系统。 在key的设置上有一些心得，拿出来大家共享。    我们这个日志系统有个需求，就是根据某个操作找出整个会话的所有操作，按一般的做法就是根据SID（会话Id）字段来扫描全表，返回所有该会话SID的记录。代码如下：               Scan scan = new Scan();FilterList filter

环境：suse  8G内存，8核，12T磁盘          hbase master 占一台，其他7台作为hbase的region server注意：此处不讨论hadoop情景：          我们有7亿的数据，需要做查询操作，需要从1.7亿的表中查找一个字段，并写入到7亿数据的表中。          这里为了描述方便，将7亿数据的表称

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。AD：2014WOT全球软件技术峰会北京站 课程视频发布 1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个re