hbase scan和bloom filter的讨论

最新推荐文章于 2023-07-26 09:28:25 发布
最新推荐文章于 2023-07-26 09:28:25 发布
阅读量7.5k 收藏 2
点赞数
分类专栏： HBase 源码分析 文章标签： Bloom Filter bloom filter hbase HBASE scan
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MrTitan/article/details/8445385
版权
本文讨论了HBase中Bloom Filter在Scan操作中的应用和限制。通过学习相关文章，了解到Bloom Filter在Get操作中可以帮助剔除不必要的StoreFile，但在基于row的Scan操作中无法进行有效优化。然而，当指定rowcol的Scan时，能够利用Bloom Filter剔除不包含特定qualify的StoreFile，从而实现一定的性能提升。建议在Scan操作中尽可能明确qualify以减少流量并提高效率。
摘要由CSDN通过智能技术生成

在工作中大家对hbase的bloom filter是否能作用于scan展开讨论。在没讨论前，我还真没想过这个问题，想当然的以为bloom filter肯定可以为scan剔除掉不需要的hfile。但Google了下才发现事实不是如此！

首先，学习了以下2篇文章：

hbase对bf的理解和使用

http://zjushch.iteye.com/blog/1530143

hbase的主要代码提交者对hbase Bloomfilter的解释

http://blog.csdn.net/macyang/article/details/6182629


大概对BloomFilter有了一些了解，然后找到了hbase中对有bloomfilter的table查询的2个优化：

1.get操作会enable bloomfilter帮助剔除掉不会用到的Storefile

最低0.47元/天 解锁文章
MrTitan
关注
专栏目录
Hbase之Bloom Filter
weixin_38244018的博客
09-15 729
布隆过滤（Bloom Filter） bloom fliter的作用主要用于提升hbase的读性能，但是会牺牲一定的存储空间。 HBase利用Bloomfilter来提高随机读（Get）的性能，对于顺序读（Scan）而言，设置Bloomfilter是没有作用的（0.92以后，如果设置了bloomfilter为ROWCOL，对于指定了qualifier的Scan有一定的优化，但不是那种直接过滤文件，...
Hbase 高级特性Bloom filter
scuwangjianfei
04-15 3352
Bloom filter 简单而言就是对hash 表的创新，用在 Hbase 中可以有有效减少磁盘IO次数。 图片来源：hbase 权威指南 下面是一个java 的简单实现package basic; /* * @author: wjf * @version: 2016年4月15日 下午10:05:28 */import java.util.BitSet;public class Bloom
HBase之BloomFilter
吃果冻不吐果冻皮
07-09 4542
HBase的Get/Scan操作流程 hbase中有BloomFilter的功能,可以在有些情况下过滤掉不需要的hfile,节省IO。BloomFilter作用BloomFilter在HBase中的作用？ HBase**利用BloomFilter来提高随机读**（Get）的性能，对于顺序（Scan）而言，设置Bloomfilter是没有作用的（0.92以后，如果设置了bloomfilter为RO
HBase篇(5)- BloomFilter
aydnwba6940的博客
11-13 193
【每日五分钟搞定大数据】系列，HBase第五篇。上一篇我们落下了Bloom Filter，这次我们来聊聊这个东西。 Bloom Filter 是什么？ 先简单的介绍下Bloom Filter（布隆过滤器）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有...
HBase学习笔记：HBase的预分区与BloomFilter特性
lrxcmwy2的博客
08-12 2238
Hbase的预分区和BloomFilter特性
Hbase 布隆过滤器BloomFilter介绍
wsong_14的博客
09-18 538
1、主要功能 提高随机读的性能 2、存储开销 bloom filter的数据存在StoreFile的meta中，一旦写入无法更新，因为StoreFile是不可变的。Bloomfilter是一个列族（cf）级别的配置属性，如果你在表中设置了Bloomfilter，那么HBase会在生成StoreFile时包含一份bloomfilter结构的数据，称其为MetaBlock
hbase之布隆过滤器
FYHannnnnn的博客
11-16 1882
一、布隆过滤器 布隆过滤器（Bloom Filter）是1970由布隆提出的。通过一个很长的二进制向量于一系列随即哈希函数生成。下面我就将通过以下小节来介绍布隆过滤器： 1、原因与结构解析 2、数学公式 1.1 原因与结构解析 首先，我们应当知道，hash是内存中使用的经典数据结构。 当我们需要判读一个元素是否在一个集合当中时，我们可以用哈希表来判断。在集合较小的情况下，hash是可行而且高效的。 然而数据量以PT...
大数据_HBase_HBase 中的 bloom-filter
迎难而上
05-05 371
参考文章： 1.详解布隆过滤器的原理、使用场景和注意事项 https://www.jianshu.com/p/2104d11ee0a2 2.数学之美：布隆过滤器 https://zhuanlan.zhihu.com/p/72378274 什么是布隆过滤器 本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点...
hbase 之 bloomfilter
牧童的专栏
02-18 784
bloomfilter  原理是什么大家可以网上查找详细资料挺多
介绍Bloom Filter（布隆过滤器）原理、实现及具体应用
05-06
介绍Bloom Filter（布隆过滤器）原理、实现及具体应用，包含9个不同PPT及PDF文档资料，对Bloom Filter感兴趣、想学习的同学可以下载查看下
HBase-BloomFilter布隆过滤器
互联网知识分享
05-06 1075
N.1 什么是布隆过滤器1）本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”。2）相比于传统的 List、Set、Map 等数据结构，它更高效、占用空间更少，但是缺点是其返回的结果是概率性的，而不是确切的。N.2 数据结构1）布隆过滤器是一个 bit 向量或者说 bit 数组，长这样：下面的位置叫做bit位，bit为对应的位置是0，当然长度是自定义的，下面设置为8。
Hbase中的BloomFilter（布隆过滤器）
weixin_30332241的博客
09-09 418
（1） Bloomfilter在hbase中的作用 　　　　Hbase利用bloomfilter来提高随机读（get）的性能，对于顺序读（scan）而言，设置Bloomfilter是没有作用的（0.92版本以后，如果设置了bloomfilter为rowcol，对于执行了qualifier的scan有　　　　一定的优化） （2） Bloomfilter在hbase中的开...
HBase的BloomFilter布隆过滤器
最新发布
互联网知识分享
07-26 543
布隆过滤器通过使用一个位数组和多个哈希函数，将集合中的元素映射到位数组中的多个位置上。当要判断某个元素是否在集合中时，将该元素通过多个哈希函数映射到位数组的多个位置上，如果所有位置上的值都为。之间的小数，表示当判断某个元素在集合中时，实际上该元素不在集合中的概率。误判率越低，但位数组的长度也会增加，占用的空间也会增加，默认值为。布隆过滤器具有一定的误判率，即可能存在判断某元素在集合中，但实际上该元素不在集合中的情况。）占用空间小，可以通过调整位数组的长度和哈希函数的个数来控制误判率和空间占用。
Hbase 读优化之BLOOMFILTER过滤器
weixin_47099283的博客
03-21 347
bloom fliter是一种空间效率很高的随机数据结构，初始状态时，bloom filter是一个包含m位的位数组（值为0），当有元素写入时，通过k个hash函数将这个元素映到这个位数组中，映射的位置设置为1。HBase利用Bloomfilter来提高随机读（Get）的性能，对于顺序读（Scan）而言，设置Bloomfilter是没有作用的（0.92以后，如果设置了bloomfilter为ROWCOL，对于指定了qualifier的Scan有一定的优化，但不是那种直接过滤文件，排除在查找范围的形式）
HBase - Bloom Filter 简单理解
Henvealf的博客
12-07 1268
HBase - Bloom Filter 简单理解Bloom Filter 是一个过滤器，他提供了一个轻量级的 in-memeory 结构，来减少 Get 操作时读取磁盘文件的数量，只读取包含了要读取的行的文件。能大大的提高读取的效率。Bloom Filter 是使用位数组来表示的。初始状态的数组全为0。每个 HFile都会由一个与之联结 Bloom Filter位数组。Bloom Filter 会
How are bloom filters used in HBase?
Mac Track
02-13 3348
HBase的两位主要代码提交者Lars George和Nicolas Spiegelberg针对issue: https://issues.apache.org/jira/browse/HBASE-1200 在quora上给出的关于bloom filter是如何在HBase中使用的。文章来源：http://www.quora.com/How-are-bloom-filters-used-in-HBaseLars George, HBase CommitterThe bloom filters in HBa
Bloom Filter概念和原理
热门推荐
jiaomeng
01-27 30万+
Bloom Filter概念和原理焦萌 2007年1月27日 Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，Bloom Filter不适
HBase Scan最佳实践：深入理解与误区解析
Scan是HBase数据读取的核心工具，它在HBase中的主要用法包括Scan API、TableScanMR和SnapshotScanMR三种。这三种扫描方式各有其原理和适用场景，理解它们的工作原理和最佳实践至关重要。 首先，Scan API是最常见的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值