- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 从MergeSort看HBase 二
接着前一篇 从MergeSort看HBase 一：http://blog.csdn.net/mrtitan/article/details/8457080 在hbase中scan是最核心的算法，从直接的读操作get，scan到一些hbase的大操作compact、split、flush都是使用各种各样的scanner实现的，可以说region的一切读操作都是scan。scan的实现可以参考
2013-01-15 23:22:17
1636
原创 如何使用mapred export import删除hbase表数据
背景： hbase的删除功能比较弱，只能单行删除，而且必须指定rowkey。 遇到问题： 今天遇到一个需求，用户导入了大量错误的数据，数据的rowkey开头都是110102，需要删除这些垃圾记录，用hbase shell删除实在不科学。 解决方案： 用hbase的mapreduce工具进行export和import，在export过程中filter掉不需要的数据。 首先
2013-01-11 16:37:14
2659
原创 hbase scan和bloom filter的讨论
在工作中大家对hbase的bloom filter是否能作用于scan展开讨论。在没讨论前，我还真没想过这个问题，想当然的以为bloom filter肯定可以为scan剔除掉不需要的hfile。但Google了下才发现事实不是如此！ 首先，学习了以下2篇文章： hbase对bf的理解和使用 http://zjushch.iteye.com/blog/1530143 hbase的主要
2013-01-09 21:13:18
7559
1
原创 从MergeSort看HBase--一
最近在研究HBase，发现很多归并排序的影子，很有意思的是这个在数据结构教材里一笔带过的算法却在分布式计算领域经常出现。再一次证明了我们的教材也许已经很落伍了。。。 为什么会用到归并排序纳？我们知道分布式系统中排序是基础，数据很容易在单台机器（或者节点、模块）中做到有序，但分布式环境需要在整个集群中达到有序。因此自然牵涉到把多个有序列合并为一个有序列的过程，这个过程就是mergesort登场的时
2013-01-01 13:39:54
1942
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人