目录
实验题部分
基本题
1、简述sketch:
- 对于数据流中大量的元素要统计其特征(出现频率,数据流大小),对数据流多次使用哈希函数将事件映射到频率,在合理的偏差内估计其大小,并显著减少内存占用,是一种可靠性较高的概率统计数据结构。
2、Count-min Sketch:
- 预备知识1:通过把关键码值映射到表中一个位置来访问记录,以加快查找的速度,这个映射函数叫做哈希函数或散列函数。主要操作是对数据进行加法、乘法和移位运算。
- 预备知识2:Hash函数的基本特性:
- 1.经过hash后能够得到相应输入的散列值。如果两个散列值是不相同的(根据同一函数),那么这两个散列值的原始输入也是不相同的;
- 2.散列函数的输入和输出不是一一对应的,如果两个散列值相同,两个输入值很可能是相同的但不绝对肯定一定相等(可能出现哈希碰撞)。
算法过程:
使用d个hash函数,每个hash函数的取值范围都在[1,w]内,从而可以组成一个d * w的二维数组(hash table),该二维数组的长度大小固定。对于每个二元组(k, v),代表元素k需要更新v次,则分别使用d个hash函数对k进行hash操作,得到d个mapped counters,然后对它们全部增加v(即需要更新的数据)。(count含义)
当需要查询某个元素的频率估计值时,也是先根据hash函数得到mapped counters,然后取其中的最小值即可,因为最小代表了冲突次数最少,相对最精确。(min含义)
-- 摘引自他人博客《Sketch调研[https://blog.csdn.net/u012332103/article/details/79702495]》,有删改
开放题部分
理论部分
1、解释为什么 sketch 可以省空间
Count-min-sketch在处理数据时引入了hash函数,能够把一个大范围映射到一个固定大小的小范围(简单来说,就是将任意长度的二进制值映射为固定长度的、大小唯一的较小二进制值),往往是为了节省空间、加快存取,使得数据容易保存。该函数是CM-Sketch能够极大节省空间的一个关键。
但是相应的代价是:由于上述hash函数的特性,多个key的散列值可能相同(哈希碰撞),从而导致探测计数器的估计值偏大。
因此为了减少哈希碰撞的概率:
- 1、可使用多个哈希函数;
- 2、可使用一个相对于数据足够大的素数进行hash操作;(例如2的32次方附近)
- 3、提高d和w的大小(越大精度越高),但是相应的在估计中使用空间也会增大。
2、用流程图描述Count-min sketch的算法过程
备注:
- 1、Ai->Bi,就是IP和对应的请求大小;
- 2、update(Ai, Bi)包括了接下来的hash操作,是给Ai的原对应值上再添加Bi的值;
- 3、estimate(Ai),得到各个探测计数器中的最小值并返回最小值;
- 4、边输入边算,这种流程图的方法,可能会多次重复输出已经输出过的Ai->Bi。
3、拿它和你改进后方法进行对比,分析优劣
优点:
- 1、只需利用相对独立的hash函数就能够解决内存占用问题,对庞大的数据流可以实时处理,直接通过hash函数也可以直接找到的对应的value,无需遍历,降低时间空间复杂度。
- 2、不需要精确估计数据包大小,适用于范围性问题,虽然结果可能偏大,但是理论上可以控制在合理误差范围内。
- 3、拓展性强,由于不容易受数据长度大小的影响,加上键-值对应,在此基础上可以发展成统计其他数据特征的数据结构。本人的原始代码只能处理一种定长格式的数据的其中一种特征。
劣势:
- 1、CM-Sketch的实现难度明显高于本人的代码,需要更深的知识掌握(例如两两独立的hash函数要如何创建),如果要求更高的精度,代码将会越复杂。
- 2、对于低频的数据估计值误差会偏大,可能不适用于需要太过精确判断的问题中。
4、吐槽Count-min sketch
- 1、外国人写个代码还好基本对函数和基本单元进行了封装,不然真的看不懂;
- 2、低频数据的准确度有时差到惊人,甚至有内存分配出错的状态发生(或许是我改动完以后的问题)(二更:不是我的问题, 代码自身的hash算法其中的大数运算导致的,已修改);
- 3、hash算法和整体架构修改起来并不简单,但是看懂之后才会好很多。而且貌似偶尔会导致堆损坏?这个问题很不解,但是免不了对堆的维护,但它不会中断程序(如下截图,其中一次堆损坏)。