在上篇，我了解了基数的基本概念，现在进入Linear Counting算法的学习。 理解颇浅，还请大神指点！
它的基本处理方法和上篇中用bitmap统计的方法类似，但是最后要用到一个公式：
说明：m为bitmap总位数，u为0的个数，最后的结果为n的一个估计，且为最大似然估计(MLE)。
那么问题来了，最大似然估计是什么东东？好像在学概率论的时候听说过，于是又去搜索了一下MLE的信息。
MLE：(此处不使用概率论中的各种符号及表示方法，按我自己的理解写)
假设进行一个实验，实验次数定为10次，每次实验成功率为0.2，那么不成功的概率为0.8，用n来表示成功的次数。
事件之间是相互独立的，于是可以得到成功次数的概率：
成功次数
0
1
2
3
4
5
6
7
8
9
10
概率
0.107374
0.268435
0.301990
0.201327
0.088080
0.026424
0.005505
0.000786
0.000074
0.000004
0.000000
以上数据由下述程序计算：
#include
#define N 10
#define G 0.2
int factorial(int n)
{
int i;
int ret = ;
for(i = ; i <= n; ++i)
{
ret *= i;
}
return ret;
}
double exponent(double m, int n)
{
int i;
double ret = ;
for(i = ; i < n; ++i)
{
ret *= m;
}
return ret;
}
double fun(int n)
{
return ((double)factorial(N) / factorial(n) / factorial(N - n) * exponent(G, n) * exponent( - G, N - n));
}
int main()
{
int i;
for(i = ; i <= N; ++i)
{
printf("%f\t", fun(i));
}
printf("\n");
}
用excel做出它的图表
而所谓概率密度，就是这一个个柱子的面积。公式如下：
所谓的最大似然估计，就是在已知成功次数n的情况下，求出每次实验成功率的最可能的值。
假设现已知成功次数为n=7，那么每次的成功概率ω可能是多少呢？
可以代入式子：
于是它成了P和ω的方程。
既然成功次数为7，那么假设n=7时，P有极大值，即求上述方程极大值。借助excel，画出它的方程曲线图：
即先求导，然后取导数的0点，即为最大可能概率：
但是这样做又不方便，又容易出错，于是可以借助对数来进行处理：
这样继续求解是不是方便多了呢？
现在回到Linear Counting算法(具体一开始头上带^的n是怎么推导的可以查看一下开关的链接，或者“A linear-time probabilistic counting algorithm for database applications”)
Linear Counting算法中，m是比n小的。我并不知道应该如何描述它，于是按个人的理解举个例子：
假设一个网站一天有n个不同的人访问，现设一m位的bitmap，将“不同的人”传入哈希函数，传出的结果填入bitmap(可能重复)，最后用bitmap中的分布情况来估计n的值。
引用链接中的一个图：
每个圈代表一个人，然后用bitmap中的分布情况估计出圈的个数。
这样的估计是有误差的，所以应该对m的选择考虑一番。
结论：Linear Counting算法比直接用bitmap节约了常系数极的空间
萌新笔记——Cardinality Estimation算法学习(一)(了解基数计算的基本概念及回顾求字符串中不重复元素的个数的问题)
最近在菜鸟教程上自学redis.看到Redis HyperLogLog的时候,对"基数"以及其它一些没接触过(或者是忘了)的东西产生了好奇. 于是就去搜了"HyperLo ...
Cardinality Estimation算法学习(二)(Linear Counting算法、最大似然估计(MLE))
在上篇,我了解了基数的基本概念,现在进入Linear Counting算法的学习. 理解颇浅,还请大神指点! http://blog.codinglabs.org/articles/algorithm ...
CRC16算法之二：CRC16-CCITT-XMODEM算法的java实现
CRC16算法系列文章: CRC16算法之一:CRC16-CCITT-FALSE算法的java实现 CRC16算法之二:CRC16-CCITT-XMODEM算法的java实现 CRC16算法之三:CR ...
萌新笔记——C++里创建 Trie字典树(中文词典)(二)(插入、查找、导入、导出)
萌新做词典第二篇,做得不好,还请指正,谢谢大佬! 做好了插入与遍历功能之后,我发现最基本的查找功能没有实现,同时还希望能够把内存的数据存入文件保存下来,并可以从文件中导入词典.此外,数据的路径是存在配 ...
萌新笔记——C++里创建 Trie字典树(中文词典)(三)(联想)
萌新做词典第三篇,做得不好,还请指正,谢谢大佬! 今天把词典的联想做好了,也是比较low的,还改了之前的查询.遍历等代码. Orz 一样地先放上运行结果: test1 ID : char : 件 w ...
萌新笔记——C++里创建 Trie字典树(中文词典)(一)(插入、遍历)
萌新做词典第一篇,做得不好,还请指正,谢谢大佬! 写了一个词典,用到了Trie字典树. 写这个词典的目的,一个是为了压缩一些数据,另一个是为了尝试搜索提示,就像在谷歌搜索的时候,打出某个关键字,会提示 ...
Vue学习笔记-Vue.js-2.X 学习(二)===>;组件化开发
===重点重点开始 ========================== (三) 组件化开发 1.创建组件构造器: Vue.extends() 2.注册组件: Vue.component() 3.使用 ...
萌新笔记之堆(heap)
前言(萌新感想): 以前用STL的queue啊stack啊priority_queue啊,一直很想懂原理,现在终于课上到了priority_queue,还有就是下周期中考,哈哈,所以写几篇blog总结 ...
JVM-GC算法(二)-复制算法&;&;标记整理算法
这次我和各位分享GC最后两种算法,复制算法以及标记/整理算法.上一篇在讲解标记/清除算法时已经提到过,这两种算法都是在此基础上演化而来的,究竟这两种算法优化了之前标记/清除算法的哪些问题呢? 复制算法 ...
随机推荐
第一天ci框架开发商城1
ci框架开发商城1 1/28/2016 9:43:52 PM userguide删除 system application controllers 控制器 models 模型 views 视图 模板 ...
基于Css反射形自触发事件，优化你的延时事件
昨天听w3ctech分享时候,说道orientationchange在不同OS和版本中,存在兼容问题,很多时候触发时候都没有渲染结束,开发同学一般都是基于setTimeout一段时间之后,在去执行具体 ...
RESTLET开发实例
1 前提 由于近期工作的需要,要把RESTLET应用到项目中,于是在网上参考了一些资料的基础上,实践了一个关于RESTLET接口的小例子. Restlet的思想是:HTTP客户端与HTTP服务器之间的 ...
slice、substring、substr的区别
首先它们都接收两个参数,slice和substring接收的是起始位置与结束位置,而substr接收的是起始位置和所要截取的字符长度. 特殊注意: 当第二参数大于第一个参数时,slice会返回空字 ...
JQuery简单动画效果的发生顺序和animate方法
(1)在同一组元素上的效果 当在一个.animate()方法中以多个属性的方式应用时,是同时发生的. 当以方法连缀的形式应用时,是按顺序发生的(排队效果)---除非queue选项值为false. (2 ...
Rehat一键安装mysql脚本和备份数据库脚本
Rehat一键安装mysql脚本 ##说明:适用,Rehat 5 6 7 1.运行状态,运行成功输出mysql临时密码 2.代码如下 #!/bin/bash #获取系统信息 sudo cat /etc ...
python中关于turtle库的学习笔记
一.基础概念 1.画布:画布就是turtle为我们展开用于绘图区域, 我们可以设置它的大小和初始位置.常用的画布方法有两个:screensize()和setup(). (1)turtle.screen ...
mysql-tar包搭建过程
第一: wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz tar z ...
使用p3p跨域设置Cookie
有些时候不能将url上的参数传来传去,比如与调用某开放平台上的接口,这时候可能需要借助Cookie来进行处理了,但这里可能又涉及到跨域的问题. 如果浏览器开启了对Cookie的支持,按照Cookie ...
1484
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
