概念
Count-Min Sketch是一种概率型数据结构，用于大规模数据流中的频率估计问题，如计算一个元素在数据集中出现的次数。它由Cormode和Muthukrishnan在2005年提出。Count-Min Sketch可以在有限的内存空间内估计大量数据流中元素的频率，虽然它允许一定的误差，但这种误差是可控的。
实现原理
Count-Min Sketch的核心是一个二维数组和几个哈希函数。具体来说：
- 二维数组：创建一个深度为
d，宽度为w的二维数组，数组的每个元素初始化为0。d是哈希函数的数量，w是数组的宽度。 - 哈希函数：选择
d个独立的哈希函数，每个哈希函数将元素映射到[0, w-1]的范围内。
操作过程
- 更新（Update）：当一个元素
x被添加到数据集中时，使用每个哈希函数对x进行哈希，得到d个位置。然后，将这d个位置对应的数组元素值加1。 - 查询（Query）：要查询一个元素
x的频率估计值时，同样使用这d个哈希函数对x进行哈希，得到d个位置。然后，取这d个位置对应的数组元素值的最小值作为x的频率估计值。
特点
- 空间效率：Count-Min Sketch能够使用相对较小的内存空间来处理大规模的数据流。
- 速度：更新和查询操作的时间复杂度都是O(d)，其中d是哈希函数的数量，通常很小，因此操作速度快。
- 误差和概率：Count-Min Sketch的结果是有误差的，但可以通过调整数组的宽度
w和深度d来控制误差范围和错误概率。增加w可以减少估计的误差，增加d可以减少估计错误的概率。
适用场景
Count-Min Sketch适用于需要频率估计但内存受限的场景，如：
- 网络流量监控：估计某个IP地址的数据包数量。
- 大数据分析：在大规模数据集中估计某个元素的出现次数。
- 缓存策略：如Caffeine缓存使用Count-Min Sketch来实现其W-TinyLFU缓存淘汰策略，估计缓存条目的访问频率。
Count-Min Sketch是处理大数据流中频率估计问题的一个高效且实用的工具，尤其在对内存使用有严格限制的情况下。
图示
Count-Min Sketch 更新示例
Count-Min Sketch是一种用于频率估计的概率型数据结构，它特别适用于处理大规模数据流中的元素计数问题。Count-Min Sketch的插入原理基于以下几个关键步骤：
- 多个哈希函数
Count-Min Sketch使用多个独立的哈希函数（通常为d个），每个哈希函数将数据流中的每个元素映射到一个固定范围内的整数（通常是[0, w-1]，其中w是哈希表的宽度）。这些哈希函数的目的是将输入元素均匀分布到哈希表的不同位置上。- 二维数组
Count-Min Sketch内部维护一个二维数组（或称为表），其大小为d x w，其中d是哈希函数的数量，w是哈希表的宽度。数组的每个元素初始化为0。这个数组用于记录元素的频率信息。- 插入操作
当插入一个元素时，Count-Min Sketch执行以下操作：
- 哈希映射：对于每个哈希函数，计算当前元素的哈希值，得到一个在
[0, w-1]范围内的整数。这个整数表示在二维数组中的列索引。- 更新计数：对于每个哈希函数，将对应的二维数组中的行（由哈希函数确定）和列（由哈希值确定）的计数值加1。这意味着，对于每个元素，会有
d个位置的计数值被增加。
为了简化展示，我们将使用一个Count-Min Sketch，它的深度（d）为2，宽度（w）为5，即有2个哈希函数，每个哈希函数将元素映射到5个桶中的一个。我们将通过插入10个元素（这里我们用数字1到10代表不同的元素）的过程来展示如何更新Count-Min Sketch的状态。
初始状态
哈希函数1: [0, 0, 0, 0, 0]
哈希函数2: [0, 0, 0, 0, 0]
假设哈希函数的映射结果如下（为了简化，我们假设哈希函数的映射是顺序的）：
- 哈希函数1: 元素 % 5
- 哈希函数2: (元素 + 2) % 5
插入元素1到10
我们将按顺序插入元素1到10，并更新Count-Min Sketch。
插入1:
哈希函数1: [1, 0, 0, 0, 0] <- 1 % 5 = 1
哈希函数2: [0, 0, 0, 1, 0] <- (1 + 2) % 5 = 3
插入2:
哈希函数1: [1, 1, 0, 0, 0] <- 2 % 5 = 2
哈希函数2: [0, 0, 0, 1, 1] <- (2 + 2) % 5 = 4
依此类推，我们继续插入剩余的元素。
插入3到10后的状态:
哈希函数1: [2, 2, 2, 2, 2] <- 每个位置都被映射到2次
哈希函数2: [2, 2, 2, 4, 2] <- 位置4（哈希函数2的第3个桶）被映射到4次
最终状态
哈希函数1: [2, 2, 2, 2, 2]
哈希函数2: [2, 2, 2, 4, 2]
ASCII图形表示
最终Count-Min Sketch状态：
哈希函数1: [2, 2, 2, 2, 2]
哈希函数2: [2, 2, 2, 4, 2]
解释
在这个简化的示例中，我们可以看到，每个元素都通过两个哈希函数映射到了Count-Min Sketch的不同位置，并且每次插入都会增加相应位置的计数。由于我们的哈希函数映射是简化的，实际应用中哈希函数应该是均匀且独立的，以减少冲突并提供更准确的频率估计。
Count-Min Sketch 查找示例
Count-Min Sketch的查询原理
当查询一个元素的频率时，Count-Min Sketch执行以下步骤：
1.使用所有哈希函数对元素进行哈希：对于要查询的元素，使用每个哈希函数计算它在对应计数数组中的位置。
2.收集计数值：从每个计数数组中，取出元素通过哈希函数映射到的位置上的计数值。
3.取最小值：由于Count-Min Sketch是一种概率数据结构，它可能会因为哈希冲突而高估元素的频率。为了最小化这种误差，它取所有收集到的计数值中的最小值作为元素的频率估计。
假设我们有一个Count-Min Sketch，它的深度（d）为2，宽度（w）为5，即有2个哈希函数，每个哈希函数将元素映射到5个桶中的一个。我们将通过查询元素“3”的过程来展示如何获取Count-Min Sketch中的频率估计。
Count-Min Sketch状态
假设在插入一系列元素后，Count-Min Sketch的状态如下：
哈希函数1: [2, 2, 2, 2, 2]
哈希函数2: [2, 2, 2, 4, 2]
哈希函数映射
- 哈希函数1: 元素 % 5
- 哈希函数2: (元素 + 2) % 5
查询元素“3”
我们想要查询元素“3”的频率估计。
- 使用哈希函数1映射元素“3”：
哈希函数1: 3 % 5 = 3
- 映射结果指向位置3，对应的计数为2。
- 使用哈希函数2映射元素“3”：
哈希函数2: (3 + 2) % 5 = 0
- 映射结果指向位置0，对应的计数为2。
频率估计
对于元素“3”，两个哈希函数映射的位置的计数都是2。因此，元素“3”的频率估计为2。
ASCII图形表示
查询元素“3”的过程：
哈希函数1: [2, 2, 2, 2*, 2] <- 通过哈希函数1映射到位置3
哈希函数2: [2*, 2, 2, 4, 2] <- 通过哈希函数2映射到位置0
星号(*)表示通过哈希函数映射到的位置。
结论
通过Count-Min Sketch，我们可以得到元素“3”的频率估计为2。请注意，由于Count-Min Sketch是一种概率型数据结构，它提供的是频率的估计值，而不是精确值。估计值可能会因为哈希冲突而高于实际频率，但不会低于实际频率。通过调整Count-Min Sketch的宽度（w）和深度（d），可以在空间使用和估计精度之间做出权衡。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
