count sketch

最新推荐文章于 2024-09-11 09:57:21 发布
最新推荐文章于 2024-09-11 09:57:21 发布
阅读量2.6k 收藏
点赞数 2
分类专栏： PHP 

<!doctype html>
<html lang="en">

<head>
<meta charset="utf-8">

<title>A practical introduction to the Count-Min Sketch</title>

<meta name="description" content="A practical introduction to the Count-Min Sketch">
<meta name="author" content="Hannes Korte">

<meta name="apple-mobile-web-app-capable" content="yes" />
<meta name="apple-mobile-web-app-status-bar-style" content="black-translucent" />

<meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no">

<link rel="stylesheet" href="http://hkorte.github.io/slides/cmsketch/css/cmsketch.css">
<link rel="stylesheet" href="http://hkorte.github.io/slides/cmsketch/css/reveal.min.css">
<link rel="stylesheet" href="http://hkorte.github.io/slides/cmsketch/css/theme/serif.css" id="theme">

<!-- For syntax highlighting -->
<link rel="stylesheet" href="http://hkorte.github.io/slides/cmsketch/lib/css/zenburn.css">

<!-- If the query includes 'print-pdf', use the PDF print sheet -->
<script>
	document.write('<link rel="stylesheet" href="css/print/'
			+ (window.location.search.match(/print-pdf/gi) ? 'pdf' : 'paper')
			+ '.css" type="text/css" media="print">');
</script>

<script src="http://hkorte.github.io/slides/cmsketch/lib/js/jquery-1.9.1.min.js"></script>

<!--[if lt IE 9]>
		<script src="lib/js/html5shiv.js"></script>
		<![endif]-->
</head>

<body>

	<div class="reveal">

		<!-- Any section element inside of this container is displayed as a slide -->
		<div class="slides">

			<section>
				<h3>A practical introduction to the</h3>
				<h2>Count-Min Sketch</h2>
				<p>
					<small>Hannes Korte<br/>Algorithms &amp; Data Challenges Berlin Meetup<br/>Mar 19, 2013</small>
				</p>
			</section>

			<section>
				<h3>Imagine:</h3>
				<ul>
					<li>You want to count elements.</li>
					<li>You don't need exact results.</li>
				</ul>
			</section>

			<section>
				<h3>Simple solution in Java:</h3>
				<p>Construct a map from elements to counts.</p>
				<p>
					<pre><code> Map&lt;String, Integer&gt; counter = new HashMap&lt;String, Integer&gt;(); </code></pre>
				</p>
				
				<p>You probably want to use libraries like <em>Guava</em> or <em>FastUtil</em> for convenience and better performance.</p>
			
			</section>

			<section>
				<h3>Problem:</h3>
				<ul>
					<li>The number of distinct elements might be very large.</li>
					<li>For realtime applications you need runtime guarantees.</li>
				</ul>
				<aside class="notes">
					<p>Too large to fit into memory.</p>
					<p>Long lookup times. See chart later.</p>
				</aside>
			</section>
			
			<section>
				<h3>Solution: The Count-Min Sketch</h3>
				<ul>
					<li>The trick: Don't store the distinct elements, but just the counters.</li>
					<li>Create an integer array of length x initially filled with 0s.</li>
					<li>Each incoming element gets mapped to a number between 0 and x.</li>
					<li>The corresponding counter in the array gets incremented.</li>
					<li>To query an element's count, simply return the integer value at it's position.</li>
				</ul>
				<p class="fragment">
					You are completely right:<br/><strong>There will be collisions!</strong>
				</p>
			</section>
			
			<section>
				<h3>The Count-Min Sketch</h3>
				<ul>
					<li>Use multiple arrays with different hash functions to compute the index.</li>
					<li>When queried, return the minimum of the numbers the arrays. &rarr; Count-<em>Min</em> Sketch</li>
				</ul>
				<p class="fragment">
					You are completely right:<br/><strong>There will still be collisions!</strong>
				</p>
				<p class="fragment">
					<strong>...but less.</strong>
				</p>
			</section>
			
			<section>
				<h3>Some properties</h3>
				<ul>
					<li>Only over-estimates, never under-estimates the true count.</li>
					<li>Has a <strong>constant</strong> memory and time consumption independent of the number of elements.</li>
					<li>The relative error may be high for low-frequent elements.</li>
			</section>

			<section>
				<h3>Demo sketch:</h3>
				<table id="demosketch" style="text-align: center;">
					<tr><td class="hashfct"><math><mrow><msub><mi>h</mi><mn>0</mn></msub></mrow></math></td>
						<td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td></tr>
					<tr><td class="hashfct"><math><mrow><msub><mi>h</mi><mn>1</mn></msub></mrow></math></td>
						<td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td></tr>
					<tr><td class="hashfct"><math><mrow><msub><mi>h</mi><mn>2</mn></msub></mrow></math></td>
						<td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td></tr>
				</table>
				<form id="demoform" class="topmargin">add a new element: <input style="font-size: 100%" type="text" id="demoinput"/></form>
				<p id="demostats" class="topmargin"></p>
<script>
$(function() {
	var map = {};
	var hashA = [3, 5, 7];
	var hashindex = function(a, str) {
		var hash = 0;
		for(var i=0; i < str.length; i++){
			hash = (a * str.charCodeAt(i)) + (hash << 76) + (hash << 16) - hash;
console.log("i:"+i);
console.log("a:"+a);
		}
		if(hash<0) hash = hash * -1;
console.log("hash:"+hash);
		return hash % 7;
	}
	var incrementCell = function(row, col) {
		var cell = $('#demosketch tr:eq('+row+') td:eq('+(col+1)+')');
		cell.css({ opacity: 0	});
		cell.css('border-color', 'red');
		cell.animate({ opacity: 1 }, 500 );
		cell.text(parseInt(cell.text())+1);
	}
	var queryCell = function(word) {
		var minCount = Math.min.apply(null, [
			parseInt($('#demosketch tr:eq(0) td:eq('+(hashindex(hashA[0], word)+1)+')').text()),
			parseInt($('#demosketch tr:eq(1) td:eq('+(hashindex(hashA[1], word)+1)+')').text()),
			parseInt($('#demosketch tr:eq(2) td:eq('+(hashindex(hashA[2], word)+1)+')').text())
		]);
		return minCount;
	}
	$('#demoform').submit(function() {
		$('#demosketch td').css('border-color', 'transparent');
		var word = $('#demoinput').val();
		$('#demoinput').val('');
		incrementCell(0, hashindex(hashA[0], word));
		incrementCell(1, hashindex(hashA[1], word));
		incrementCell(2, hashindex(hashA[2], word));
		if(!map[word]) map[word] = 1;
		else map[word] = map[word] + 1;
		$('#demostats').html('Statistics for word <em>' + word + '</em>:<br/>True count: ' + map[word] + '<br/>Sketch count: ' + queryCell(word));
		return false;
	});
})
</script>
			</section>
			
			<section>
				<h3>Extension: The Conservative Update</h3>
				<ul>
					<li>Instead of incrementing every counter, only increment the ones which need an update.</li>
					<li>Experiments show a strong error reduction using this heuristic.</li>
				</ul>
			</section>
			
			<section>
				<img src="http://hkorte.github.io/slides/cmsketch/img/experiments-mem.png"/><br/>
				Example counting unigrams and bigrams in text documents. 
			</section>
			
			<section>
				<img src="http://hkorte.github.io/slides/cmsketch/img/experiments-time.png"/><br/>
				Example counting unigrams and bigrams in text documents. 
			</section>
			
			<section>
				<h3>Usage</h3>
				<ul>
					<li>General:
						<ul>
							<li>Every counting problem on large data sets, where errors are acceptable.</li>
							<li>Counting elements in data streams.<br/>(e.g. trend detection on twitter)</li>
						</ul>
					</li>
					<li class="fragment topmargin">Mine:
						<ul>
							<li>Feature selection for large data sets using pointwise mutual information.</li>
							<li>All kinds of feature statistics like word co-occurences, IDF, etc.</li>
						</ul>
					</li>
				</ul>
			</section>
			
			<section>
				<h3>Feature Selection Example</h3>
				<p><strong>Input:</strong> Company websites grouped by industry sector</p>
				<p><strong>Output:</strong> Relevant terms for each sector based on PMI</p>
				<pre><code>Label 01         Landwirtschaft und Jagd
#docs: 14
001.     0,0177864  pflanzen
002.     0,0144118  garten
003.     0,0129956  ernte
004.     0,0113797  gewächshausfläche
005.     0,0113797  dwarf
006.     0,0113797  spätreifende
007.     0,0113797  breiti
008.     0,0113797  kellereiartikel
009.     0,0108276  landschaftspflege
010.     0,0102964  cultivated
011.     0,0102964  reintönige
012.     0,0102964  traubensorte
013.     0,0102964  jahrgängen
014.     0,0102964  schwimmteich
015.     0,0102964  imposanter
016.     0,0102964  innenbegrünung
017.     0,0102964  pflanzenpflege
018.     0,0101218  grünanlagen
019.     0,0101218  blüten
020.     0,0101218  ernten

Label 01.12      Gartenbau
#docs: 6
001.     0,0143696  pflanzen
002.     0,0137515  gewächshausfläche
003.     0,0126628  schwimmteich
004.     0,0126628  pflanzenpflege
005.     0,0123234  gärtner
006.     0,0118892  schwimmteiche
007.     0,0107863  gärtnern
008.     0,0103628  topfpflanzen
009.     0,0099942  gartens
010.     0,0099942  schnittblumen
011.     0,0098929  gärten
012.     0,0096679  baumschule
013.     0,0096679  floristik
014.     0,0093751  eden
015.     0,0091096  gartencenter
016.     0,0091096  stauden
017.     0,0088669  blüten
018.     0,0084301  portrait
019.     0,0080621  ablehnen
020.     0,0080621  edith

Label 15         Ernährungsgewerbe
#docs: 20
001.     0,0167030  leckere
002.     0,0163800  zutaten
003.     0,0157303  geschmack
004.     0,0152514  rezepte
005.     0,0149070  spezialitäten
006.     0,0141082  wurst
007.     0,0138228  aprikosen
008.     0,0138228  hefe
009.     0,0134308  inhaltsstoffe
010.     0,0132752  schinken
011.     0,0132752  fettsäuren
012.     0,0132752  mandeln
013.     0,0131221  getraenke
014.     0,0131221  schlachtung
015.     0,0131221  walnüsse
016.     0,0131221  durstlöscher
017.     0,0131221  glasflasche
018.     0,0131221  geschmacklich
019.     0,0131221  maracuja
020.     0,0123445  vitaminen

Label 15.13      Fleischverarbeitung
#docs: 5
001.     0,0186327  schlachtung
002.     0,0179152  wurst
003.     0,0163253  wurstwaren
004.     0,0142521  lammfleisch
005.     0,0142521  qualitätsfleisch
006.     0,0138747  partyservice
007.     0,0131627  aufschnitt
008.     0,0131627  küchenfertige
009.     0,0131627  hackfleisch
010.     0,0131627  artgerechte
011.     0,0125670  fleisch
012.     0,0123884  züchten
013.     0,0123884  vieh
014.     0,0123884  mariniert
015.     0,0117828  kühlkette
016.     0,0112842  geschmacksverstärker
017.     0,0112842  dlg
018.     0,0112842  aufzucht
019.     0,0107535  zubereitung
020.     0,0104908  fleischerei
</code></pre>
			</section>
			
			<section>
				<h3>References</h3>
				<ul>
					<li><strong><a href="https://sites.google.com/site/countminsketch/">https://sites.google.com/site/countminsketch/</a></strong><br/>
						A great resource of implementations and publications.</li>
					<li class="topmargin"><strong>An Improved Data Stream Summary: The Count-Min Sketch and Its Applications</strong><br/>
						Graham Cormode, and S. Muthukrishnan. <em>LATIN 2004: Theoretical Informatics (2004)</em>. (The original paper).<br/>
						<small><a href="http://dimacs.rutgers.edu/~graham/pubs/papers/cm-full.pdf">http://dimacs.rutgers.edu/~graham/pubs/papers/cm-full.pdf</a></small>
					</li>
					<li class="topmargin"><strong>Sketching Techniques for Large Scale NLP</strong><br/>
						Amit Goyal, Jagadeesh Jagarlamudi, Hal Daume III, and Suresh Venkatasubramanian. <em>Proceedings of the NAACL HLT 2010 Sixth Web as Corpus Workshop (2010)</em>.
						<small><a href="http://www.umiacs.umd.edu/~jags/pdfs/LSNLPsketchWAC10.pdf">http://www.umiacs.umd.edu/~jags/pdfs/LSNLPsketchWAC10.pdf</a></small>
					</li>
				</ul>
			</section>

		</div>

	</div>

	<script src="http://hkorte.github.io/slides/cmsketch/lib/js/head.min.js"></script>
	<script src="http://hkorte.github.io/slides/cmsketch/js/reveal.min.js"></script>

	<script>
		// Full list of configuration options available here:
		// https://github.com/hakimel/reveal.js#configuration
		Reveal.initialize({
			controls : true,
			progress : true,
			history : true,
			center : true,

			theme : Reveal.getQueryHash().theme, // available themes are in /css/theme
			transition : Reveal.getQueryHash().transition || 'default', // default/cube/page/concave/zoom/linear/fade/none

			// Optional libraries used to extend on reveal.js
			dependencies : [ {
				src : 'lib/js/classList.js',
				condition : function() {
					return !document.body.classList;
				}
			}, {
				src : 'plugin/markdown/showdown.js',
				condition : function() {
					return !!document.querySelector('[data-markdown]');
				}
			}, {
				src : 'plugin/markdown/markdown.js',
				condition : function() {
					return !!document.querySelector('[data-markdown]');
				}
			}, {
				src : 'plugin/highlight/highlight.js',
				async : true,
				callback : function() {
					hljs.initHighlightingOnLoad();
				}
			}, {
				src : 'plugin/zoom-js/zoom.js',
				async : true,
				condition : function() {
					return !!document.body.classList;
				}
			}, {
				src : 'plugin/notes/notes.js',
				async : true,
				condition : function() {
					return !!document.body.classList;
				}
			}
			// { src: 'plugin/search/search.js', async: true, condition: function() { return !!document.body.classList; } }
			// { src: 'plugin/remotes/remotes.js', async: true, condition: function() { return !!document.body.classList; } }
			]
		});
	</script>


</body>
</html>
bonlog
关注
专栏目录
【坑】Sketch算法——Count-Min Sketch和Universal Sketch
ljm1995的博客
12-23 2760
文章目录参考链接Count-Min SketchUniversal Sketch 参考链接 [1] Count-Min Sketch: https://blog.csdn.net/pipisorry/article/details/64126199 [2] Cormode G, Muthukrishnan S. An improved data stream summary: the count-min sketch and its applications[J]. Journal of Algorithm
数据流基本问题--基于sketch进行Frequency Estimation
dm_ustc的博客
05-25 1万+
如果一个数据流，其中m为数据流的大小，。我们可以定义每个元素出现 的次数为，其中为第i个元素出现的次数。这篇博客就是讲下的估计问题（Frequency Estimation）。 在数据流基本问题--确定频繁元素里面的方法也可以对元素出现次数进行估计。但是这个方法如果该这种方法处理了两 个数据流，无法对处理的结果进行汇总得到两个数据流合并后的结果进行估计。而且该方法只能针对vanilla
CountSketch
11-24
需要资源请查询，基于网络流处理的CountSketch算法的C语言实现，已经过测试证实准确可用
Count-Min Sketch 用于频率估计的数据结构
最新发布
坚定目标，超越自我
09-11 1198
是一种概率型数据结构，用于大规模数据流中的频率估计问题，如计算一个元素在数据集中出现的次数。它由Cormode和Muthukrishnan在2005年提出。Count-Min Sketch可以在有限的内存空间内估计大量数据流中元素的频率，虽然它允许一定的误差，但这种误差是可控的。
哈工大 大数据算法 点查询和频度估计-Count Sketch算法-Final Count Sketch算法
陈泊舟的博客
06-18 4527
点查询和频度估计4 Count Sketch算法 算法 C[1...k]←0,k=3ϵ2C[1...k] \leftarrow 0,k = \frac{3}{\epsilon^2}C[1...k]←0,k=ϵ23​ 随机选择1个2−wise2-wise2−wise独立哈希函数h:[n]→[k]h:[n] \rightarrow [k]h:[n]→[k] 随机选择1个2−wise2-wise2−wise独立哈希函数g:[n]→{−1,1}g:[n] \rightarrow \{-1,1\}g:[n]→{−1
Sketch算法-CM Sketch、Count Sketch等
syuichihann的博客
11-16 7315
sketch sketch统计网络数据流中某个元素出现的频率，反应数据流的特征。并不实际的存储数据流中的元素，只存储他们的计数。 基本原理是数组每个单元维持一个计数器，当数据流的元素哈希索引到数组的某个位置，此位置计算器加一。查询某个元素的出现频率只需哈希索引到对应计数器即可。很明显，由于不同元素可能索引到同一个位置，这种方法得到的计数值一般是偏大的。 Count Sketch 运行sketch方法k次，每次对应单独的哈希函数h（索引到数组某个位置）和g（哈希函数g的目的是无偏估计），然后取结果的平均值.
Count-Min sketch
术业有专攻
01-26 1055
  “Sketching” data structures store a summary of a data set in situations where the whole data would be prohibitively costly to store (at least in a fast-access place like the memory as opposed to ...
CountMin Sketch算法
11-24
CountMin Sketch算法是一种在大数据分析领域广泛使用的概率数据结构，主要应用于近似计数和频率估算。这个算法设计的目标是在空间效率和准确性之间找到一个良好的平衡，尤其适用于处理大规模、高维度的数据流。在...
count-min-sketch：C语言中的最小计数草图实现
02-05
Count-Min Sketch是一种概率数据结构，常用于在线计算大规模数据流中的频率估计。在C语言中实现Count-Min Sketch，可以高效地处理大数据分析任务，尤其是那些内存受限或实时性要求高的场景。以下是对Count-Min ...
count-min-sketch:用于在指定错误范围内查找数据流中事件频率的 Count-Min 草图的 Java 实现
07-04
Count-Min 草图 Count-Min 草图的 Java 实现，用于在指定错误范围内查找数据流中的事件频率。 更多信息 参考： [1] [2] [3] [4] 问题 欢迎修复错误或改进！ 请 fork 项目并在 github 上发送 pull request。...
fast-sketches:快速实现从最小数量的草图和计数草图获取所有预测的方法
04-02
快速草图 实施论文时，由于当前解决方案不足，我们不得不为Count-Min Sketchs和Count-Sketches创建一个新的库。 C ++库很难使用，而Python包则往往很慢。 因此，我们编写了一个Python包，其中包含与C ++库的Python绑定，以计算最小计数草图和计数草图的预测。 该代码位于fast_sketches.cpp 。 我们包括一个Python程序包，其中包含与C ++库的Python绑定，以计算最小计数和计数草图的结果。 注意：此功能仅在当前版本的Mac上有效。 首先，您需要pybind11，因此运行 pip install pybind11 然后跑 sh build.sh以安装草图库。 该库实现两个功能： [numpy array of long longs] cm_sketch_preds(int nhashes, [numpy array o
算法之旅，直奔<algorithm>之九 count
cqs_2012
12-15 1293
count(vs2010版本) 引言 这是我学习总结第九篇，count函数。有人会说，你老是用vs2010测试，vs别的版本代码都不能用，还学这个干么！其实我觉得要促进C++和algorithm的发展，应该了解现在的C++和algorithm，不了解又怎么知道哪有缺陷，了解不是目的，但是不可或缺。 作用 count 的作用是计算具有连续地址的一堆数据中某个元素的个数，返回值就是
数据科学与工程理论基础复习提纲
cacique111的博客
12-24 1214
数据科学与工程理论基础复习提纲
Count-Min Sketch 算法
热门推荐
皮皮blog
03-20 2万+
http://blog.csdn.net/pipisorry/article/details/64126199 统计频率算法 问题：如果老板让你统计一个实时的数据流中元素出现的频率，并且准备随时回答某个元素出现的频率，不需要的精确的计数，那该怎么办？ hashmap解决 直觉告诉我们可能需要一个巨大的 HashMap 来统计各个元素的出现频率，但由于不同的元素的个数可能非常大，以至于是个天...
Bloom Filter 和　Count-Min Sketch 介绍
u012315428的专栏
02-20 4257
Bloom Filter introduction 首先，我们假设有四种存储设备，分别是 Tape, HDD, SSD, Memory．当然，我们知道，这四种设备的响应速度是按顺序递增的，也就是说 Memory 的速度最快，当然，我们都希望所有的程序都可以跑在 Memory 中，但是这四种设备的存储大小即容量也是不一样的，价格也是随之递增的．Ex .g 当我们在 Java 中使用 Set ...
Count-Min Sketch 算法，解决大数据统计难题
weixin_42769327的博客
09-11 1984
Count-Min Sketch 算法，解决大数据统计难题 如果老板让你统计一个实时的数据流中元素出现的频率，并且准备随时回答某个元素出现的频率，不需要的精确的计数，那该怎么办？ 直觉告诉我们可能需要一个巨大的 HashMap 来统计各个元素的出现频率，但由于不同的元素的个数可能非常大，以至于是个天文数字，要求的内存可能会非常大，从而不切实际。同时，又要求我们实时计算，实时回答，当HashMa...
基于sketch的网络测量方法介绍
weixin_40581617的博客
11-19 1798
一、背景   网络测量是SDN发展的重要基础。网络状态监测、网络故障分析、网络安全防御，乃至于网络智能化，都依赖于网络测量。作为网络测量前沿研究的主流，基于sketch的高速流量网络测量，是网络领域顶级会议SIGCOMM近两年的研究热点，包括SIGCOMM’17的 SketchVisor[1] 和SIGCOMM’18的SketchLearn[2]、ElasticSketch[3]等。 ske...
Sketch真的很难上手？
小牧的博客
04-18 6399
Sketch真的很难上手？一些UI设计的初学者当他熟悉了Photoshop的使用后就觉得这个软件对他的设计工作已经很足够了，但其实不然，设计的成果是一回事，设计的效率就是另外一回事了。Sketch一款由Bohemian Coding公司发明的，适用于所有设计师的矢量应用，能够替代Adobe Photoshop，Illustrator和Fireworks等工具，但是目前只有mac版本(http://b
count-min sketch 用途，实现细节
04-25
Count-Min Sketch是一种用于高效计算数据流中元素频率的算法。它最初用于网络流量监控，但现在已经被广泛应用于各种领域，如数据挖掘，网络安全等。Count-Min Sketch使用一组哈希函数和一个二维数组来估计每个元素出现的频率。当元素流经Count-Min Sketch时，将使用哈希函数将其映射到数组上。每个哈希函数都会得出元素的位置，并增加该位置上的计数器。因为可能会出现哈希冲突，所以需要多个哈希函数来处理冲突。由于Count-Min Sketch是一个估计算法，因此可能会出现偏差和误差。但是，由于其时间和空间复杂度都很低，因此它在处理大量数据时非常实用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值