![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
文章平均质量分 78
「已注销」
这个作者很懒,什么都没留下…
展开
-
oozie 中使用hbase
I want to share a little hack I used to be able to consume TableMapper with or without filters in Oozie Workflow. The first think to understand is how TableMapReduceUtil.initTableMapperJob works.转载 2012-09-10 14:34:09 · 2595 阅读 · 1 评论 -
【bloom filter】对HBase中Bloomfilter类型的设置及使用的理解
转载:http://zjushch.iteye.com/blog/15301431.Bloomfilter的原理? 可参考 http://hi.baidu.com/yizhizaitaobi/blog/item/cc1290a0a0cd69974610646f.html 2.Bloomfilter在HBase中的作用? HBase利用Bloomfilter来提高随机读(转载 2012-12-11 15:20:34 · 1397 阅读 · 0 评论 -
【hbase】bulkload数据到hbase表中
一、概述HBase有很多种方法将数据加载到表中,最简单直接的方法就是通过MapReduce调用TableOutputFormat方法,或者在client上调用API写入数据。但是,这都不是最有效的方式。这篇文档将向你描述如何在HBase中加载大数据。采用MapReduce作业,将数据以HBase内部的组织格式输出成文件,然后将数据文件加载到已运行的集群中。(注:就是原创 2013-04-08 21:42:29 · 2344 阅读 · 0 评论 -
[hbase]Increment V.S. Read-Modify-Write in HBase
Increment V.S. Read-Modify-Write in HBase在 HBase: The Definitive Guide 中,Lars George 介绍了 HBase 的一个新特性 Counter Increment,即把一个 column 当作 一个 counter,这样便于给某些应用提供统计功能。传统上,如果没有 counter,当我们要给一个 column转载 2013-05-17 09:12:21 · 1953 阅读 · 0 评论 -
hbase hbck
https://issues.apache.org/jira/browse/HBASE-5128 https://github.com/jmhsieh/hbase-repair-scripts HBASE-5128之前版本的HBCK:检查master、regionserver内存中的状态以及hdfs上面数据的状态之间的一致性 (1)获取所有region的信息(reg转载 2013-05-17 10:12:20 · 9083 阅读 · 0 评论 -
HBase 在淘宝的应用和优化
本文来自于NoSQLFan联合作者@koven2049,他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解,本文就是其在工作中对HBase的应用优化小结,分享给大家。目 录 [ - ]前言原因应用情况部署、运维和监控测试与发布改进和优化将来计划前言hbase是从 hadoop中分离出来的apache顶级开源项目。由转载 2014-08-15 17:01:37 · 704 阅读 · 0 评论 -
HBase key设置加快查询速度小谈
最近做一个基于HBase 的大日志存储,分析系统。 在key的设置上有一些心得,拿出来大家共享。 我们这个日志系统有个需求,就是根据某个操作找出整个会话的所有操作,按一般的做法就是根据SID(会话Id)字段来扫描全表,返回所有该会话SID的记录。代码如下: Scan scan = new Scan();FilterList filter转载 2014-09-01 22:02:28 · 2688 阅读 · 0 评论 -
优化hbase的查询操作-大幅提升读写速率
环境:suse 8G内存,8核,12T磁盘 hbase master 占一台,其他7台作为hbase的region server注意:此处不讨论hadoop情景: 我们有7亿的数据,需要做查询操作,需要从1.7亿的表中查找一个字段,并写入到7亿数据的表中。 这里为了描述方便,将7亿数据的表称转载 2014-09-01 22:05:28 · 868 阅读 · 0 评论 -
HBase性能优化方法总结
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,这里涉及的不多,这部分可以参考:淘宝Ken Wu同学的博客。AD:2014WOT全球软件技术峰会北京站 课程视频发布 1. 表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个re转载 2014-09-01 22:04:19 · 687 阅读 · 0 评论