Sketch算法-CM Sketch、Count Sketch等

最新推荐文章于 2023-07-20 11:26:49 发布
最新推荐文章于 2023-07-20 11:26:49 发布
阅读量8.1k 收藏 10
点赞数 3
分类专栏： 学习 文章标签： 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/syuichihann/article/details/109715743
版权

sketch

sketch统计网络数据流中某个元素出现的频率，反应数据流的特征。并不实际的存储数据流中的元素，只存储他们的计数。
基本原理是数组每个单元维持一个计数器，当数据流的元素哈希索引到数组的某个位置，此位置计算器加一。查询某个元素的出现频率只需哈希索引到对应计数器即可。很明显，由于不同元素可能索引到同一个位置，这种方法得到的计数值一般是偏大的。

Count Sketch

运行sketch方法k次，每次对应单独的哈希函数h（索引到数组某个位置）和g（哈希函数g的目的是无偏估计），然后取结果的平均值。

引用

CM Sketch

Count-Min Sketch算法进行更进一步的优化，维持一个二维数组，用k个哈希索引（二维数组有k行），类似布隆过滤器。对每个元素进行k次哈希索引到每行相应的位置并使该位置计数器加一。查询时同样进行k次哈希，并取k个计数器中的最小值。

Count-Min Sketch
含数学推导CM Sketch讲解

Count Sketch--计数草图
lyhaoyuhangyuan的博客
01-18 861
对于 h2​：h2​(a)=3，g2​(a)=−1，所以查看第2行第3列的值，为-3，乘以-1，变为3。对于 h1​：h1​(b)=2，g1​(b)=−1，所以查看第1行第2列的值，为-2，乘以-1，变为2。对于 h2​：h2​(c)=2，g2​(c)=−1，所以查看第2行第2列的值，为-1，乘以-1，变为1。对于 h1​：h1​(a)=1，g1​(a)=1，所以在第1行第1列的位置加1，变为1。对于 h2​：h2​(b)=1，g2​(b)=1，所以在第2行第1列的位置加1，变为1。
常见sketch简介
赵宗义的专栏
11-06 1990
文章目录Count-Min (CM) SketchConservative-Update (CU) SketchCount Sketch 假设我们有一个数据包序列S={p1,p2,⋯ ,pn}\mathrm{S}=\{p_1, p_2, \cdots, p_n\}S={p1​,p2​,⋯,pn​}. h1(.),h2(.),⋯ ,hd(.)h_1(.), h_2(.), \cdots, h_d(.)h1​(.),h2​(.),⋯,hd​(.)均为哈希函数. 对于任意一个数据包pip_ipi​, 假设它的流标
CountSketch
11-24
需要资源请查询，基于网络流处理的CountSketch算法的C语言实现，已经过测试证实准确可用
count sketch
Mp4r8672v的博客
01-12 1434
count sketch
CM-Sketch
zhaoxizxzx的博客
11-04 2569
定义： （作用方面）面对大量数据，牺牲计数的精确性而提高处理速度、减少处理时间的统计频率算法 关键词：大数据 实时计算 算法 基础： 哈希函数：将存储位置和它的关键字之间建立一个确定的对应关系f，使每个关键字和结构中一个唯一的存储位置相对应，使在检索数据时能直接访问到地址，提高检索速度。 冲突：在哈希表中，不同的关键字值对应到同一个存储位置的现象。 解决冲突的方法： ⑴链接法（拉链法）。将具有同一散列地址的记录存储在一条线性链表中。 ⑵开放定址法。如果h(k）已经被占用，则按某种规则查找未被占用的地址，并将
【坑】Sketch算法——Count-Min Sketch和Universal Sketch
ljm1995的博客
12-23 3071
文章目录参考链接Count-Min SketchUniversal Sketch 参考链接 [1] Count-Min Sketch: https://blog.csdn.net/pipisorry/article/details/64126199 [2] Cormode G, Muthukrishnan S. An improved data stream summary: the count-min sketch and its applications[J]. Journal of Algorithm
机器学习算法Newton Sketch
ebabyvonne的博客
08-23 1446
Martin介绍了一种近两年来出现的新型统计机器学习算法Newton Sketch，该算法有助于超大规模数据集的快速优化、分析与理解。 作为全球统计学顶级大奖COPSS的2014年获得者，Martin强调Newton Sketch可以用更短的计算时间和更低的计算成本来处理超大规模高维数据集和高维神经元网络，这对于推动人工智能在商业领域的快速普及有着重要意义。 大数据引发的高维现象
CountMin Sketch算法
11-24
CountMin Sketch算法是一种在大数据分析领域广泛使用的概率数据结构，主要应用于近似计数和频率估算。这个算法设计的目标是在空间效率和准确性之间找到一个良好的平衡，尤其适用于处理大规模、高维度的数据流。在...
count-min-sketch：C语言中的最小计数草图实现
02-05
Count-Min Sketch广泛应用于网络流量分析、推荐系统、广告点击率预测、日志分析等领域，尤其适用于需要快速响应且对精度要求相对宽松的问题。 综上所述，Count-Min Sketch是解决大数据流分析问题的有效工具，其...
count-min-sketch:用于在指定错误范围内查找数据流中事件频率的 Count-Min 草图的 Java 实现
07-04
Count-Min 草图 Count-Min 草图的 Java 实现，用于在指定错误范围内查找数据流中的事件频率。 更多信息 参考： [1] [2] [3] [4] 问题 欢迎修复错误或改进！ 请 fork 项目并在 github 上发送 pull request。...
Sketch算法所用数据
11-24
所有Sketch算法所需要的数据包，通过真实值计算，再经过Sketch算法估计，获得测量精度，经过测试真实值是正确的
论文研究-Parallelizing the Count-Min Sketch Algorithm on the Multi-core Processors.pdf
08-20
本文关注的是著名的Count-Min (CM) Sketch算法，该算法已被证明是一个多用途的流频率属性摘要，可以用于回答输入流上包括点查询和范围查询、分位数和重击者等在内的各种查询。随着网络带宽的指数级增长，不断增长的...
Count-Min sketch算法
admondchen的博客
12-03 3254
给定数据流< 4,1,3,5,1,3,2,6,7,0,9 >,若哈希函数形如h(x)= (ax + b) mod 8,其中a和b是任意给定的常数。假设给定如下哈希函数： (1) h(x) = (3x + 2) mod 8； (2) h(x) = (7x + 5) mod 8； (3) h(x) = (5x + 3) mod 8。 请利用Count-Min sketch算法估计频繁项。 程序 ''' CountMinSketch 实现 已完成 ''' import numpy as np
Sketch 介绍
weixin_33943347的博客
08-13 188
    Sketch 插件大集合 —— Using Sketch Like A BOSS  这几天发现了一个叫做 Sketch Toolbox 的 Mac 应用，简直是下载和安装 Sketch 插件的利器，保证像 Zen Coding 一样带给你高效创作的超级快感！  Sketch 是为图标设计和界面设计而生的。它是一个有着出色 UI 的一站式应用，所有你需要的工...
哈工大 大数据算法 点查询和频度估计-Count Sketch算法-Final Count Sketch算法
陈泊舟的博客
06-18 4580
点查询和频度估计4 Count Sketch算法 算法 C[1...k]←0,k=3ϵ2C[1...k] \leftarrow 0,k = \frac{3}{\epsilon^2}C[1...k]←0,k=ϵ23​ 随机选择1个2−wise2-wise2−wise独立哈希函数h:[n]→[k]h:[n] \rightarrow [k]h:[n]→[k] 随机选择1个2−wise2-wise2−wise独立哈希函数g:[n]→{−1,1}g:[n] \rightarrow \{-1,1\}g:[n]→{−1
Count-Min Sketch 算法，解决大数据统计难题
weixin_42769327的博客
09-11 2079
Count-Min Sketch 算法，解决大数据统计难题 如果老板让你统计一个实时的数据流中元素出现的频率，并且准备随时回答某个元素出现的频率，不需要的精确的计数，那该怎么办？ 直觉告诉我们可能需要一个巨大的 HashMap 来统计各个元素的出现频率，但由于不同的元素的个数可能非常大，以至于是个天文数字，要求的内存可能会非常大，从而不切实际。同时，又要求我们实时计算，实时回答，当HashMa...
网络测量中基于Sketch方法的简单介绍
weixin_30478619的博客
08-10 935
Sketch介绍 为什么要用Sketch 网络流主要根据五元组、主机地址、包的大小来分类。在网络中存在各种各样的包，如果按照上述分类方法，对每一种包都分配一个计数器来储存，虽然测量准确，那么存放计数器的空间开销会非常大。所以使用哈希的方法，根据哈希值的范围来确定的所需的存储空间，各种包根据哈希值再次归类，可以大大减少存储空间。这样使用哈希来估计流的方法称为Sketch-based方法。 Cou...
Sketch测量方法
最新发布
m0_54947284的博客
07-20 1119
​ Sketch是一类被广泛应用在网络测量领域的概率数据结构，用于记录多集合或流中元素的频率或估计其基数，且Sketch通常比输入的大小要小很多。基于Sketch的测量属于被动测量通常不发送任何探测包，也不会对网络造成额外开销，Sketch使用概要对感兴趣的信息进行有效的存储和检索，从而实现对活跃流的存在及体积信息的记录。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值