语言统计学三大定律：Zipf law，Heaps law和Benford law

最新推荐文章于 2021-01-01 15:52:57 发布
最新推荐文章于 2021-01-01 15:52:57 发布
阅读量1.7w 收藏 18
点赞数 1
文章标签： 语言 审查
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pennyliang/article/details/5876746
版权

 

语言统计学三大定律：Zipf law，Heaps law和Benford law

zipf law：在给定的语料中，对于任意一个term，其频度(freq)的排名（rank）和freq的乘积大致是一个常数。

Heaps law：在给定的语料中，其独立的term数（vocabulary的size）v（n）大致是语料大小（n）的一个指数函数。

Benford law：在自然形成的十进制数据中，任何一个数据的第一个数字d出现的概率大致log10(1+1/d)

 

其中Benford law还在会计作假帐的审查和政治选票合法性审查起到了重要作用。

 

 

推荐阅读：

（1）Zipf and Heaps Laws’ Coefficients Depend on Language：http://www.gelbukh.com/CV/Publications/2001/CICLing-2001-Zipf.htm

 (2)  http://limiao.net/1450

 (3) http://www.douban.com/group/topic/11417532/

 (4) http://blog.csdn.net/pennyliang/archive/2006/09/11/1207832.aspx

 

pennyliang
关注
[python数据分析] 简述幂率定律及绘制Power-law函数
杨秀璋的专栏
03-23 1万+
这篇文章主要是最近研究人类行为应用的内容，主要简单叙述下复杂网络的幂率分布以及绘制Power-law函数一些知识，同时是一篇在线笔记。希望对您有所帮助，如果文章中存在不足或错误的地方，还请海涵~ 1.幂率分布 2.Zipf定律 3.Scale free 4.Python绘制幂率分布 这篇文章基础知识转载了别人的内容，这里强烈推荐大家阅读原文。此篇文章主要是讲述代码部分，定律我也还在学习中，和大家共勉。
5.1索引压缩-词项的统计特性(Heaps定律、Zipf定律)
qq_45783383的博客
11-22 1117
提示： 信息检索：索引压缩文章目录回顾Heaps定律Zipf定律 回顾 Heaps定律 一种对词项数目M进行估计的方法是采用Heaps定律： M=kT^b。  对RCV1文档集来说，虚线log10M = 0.49log10T + 1.64 是基于最小二乘法的最佳拟合，则M= 101.64 * T0.49, 所以k =101.64≈44, b=0.49对RCV1是一个很好的经验拟合.  对于前1,000,020个词条,Heaps定律会估计得到大约38,323个词项;而实际数目是38365,和估计值非常
统计学之大数定律、小数法则
meowing的博客
03-01 6498
大数定律（Law of Large numbers）:在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。随着样本的增大，随机变量对平均数的偏离是下降的。 如：抛掷一枚硬币，正面和反面的概率均为50%，但当抛掷硬币无限次，硬币为正面的频率将逐渐近似于它的概率50%。 赌场、“诈骗”、保险等都是大数定律的例子。 大数定律反映了一个自然规律：在一个包含众多个体的大群体中，由于偶然性而...
三大IT定律
weixin_38190650的博客
11-18 3633
前言在信息技术高速发展的今天，你是否想过，到底是什么主导信息革命，而科技的发展又是按什么规律前行的呢？ 在IT行业的数十年历程中，有三大规律一直适用。他们从对整个计算机产业影响最关键的几个因素出发，客观描述了整个计算机产业的发展规律。所以 ，今天我们将来来谈谈摩尔定律， 安迪-比尔定律和反摩尔定律摩尔定律内容当价格不变时，集成电路上可容纳的元器件的数目，约每隔18-24个月便会增加一倍，性能也将提
Heaps
丁一的博客
09-04 1231
#include<iostream> #include<vector> using namespace std; vector<int> v; int M,N; void postOrder(int index){ if(index>=N) return; postOrder(2*index+1); postOrder(2*index+2); ...
Pandas —— resample()重采样和asfreq()频度转换
热门推荐
starter_____的博客
08-06 2万+
resample() resample()进行重采样。 重采样（Resampling）指的是把时间序列的频度变为另一个频度的过程。把高频度的数据变为低频度叫做降采样（downsampling），把低频度变为高频度叫做增采样（upsampling）。 降采样 考虑因素： 各区间哪边是闭合的（参数：closed） 如何标记各聚合面元，用区间的开头还是末尾（参数：label） In [...
zipfian分布
Rockics的专栏
06-14 8187
zipf law：在给定的语料中，对于任意一个term，其频度(freq)的排名（rank）和freq的乘积大致是一个常数。 It is known that the number of incoming links to pages on the Web follows a Zipfian distribution. That is, a small number of Web pa
idl代码与Matlab-Zipf-s-Law-NLP:简短而全面的代码，用于使用zipf定律和pearson相关系数对文本数据进行数学处理
05-26
简短而全面的代码，用于使用zipf定律和pearson相关系数对文本数据进行数学处理 作者简介 姓名：Anirudh Kalla 附属机构：印度科普教育科学研究所 部门：物理 嘿，谢谢您访问这个空间，希望您在这里找到有用的东西。 ...
Zipf law 定律
wangxiaoxiaodeer的博客
01-01 1119
Zipf定律是文献计量学的重要定律之一，它和洛特卡定律、布拉德福定律一起被并称为文献计量学的三大定律。 一个词在一个有相当长度的语篇中的等级序号（该词在按出现次数排列的词表中的位置，他称之为rank，简称r）与该词的出现频率（他称为frequency，简称f）的乘积几乎是一个常数（constant，简称C）。用公式表示，就是 r × f = C 。（此处的C一般认为取0.1） 齐夫定律（英语：Zipf's law，IPA/ˈzɪf/）是由哈佛大学的语言学家乔治·金斯利·齐夫（George Kingsle
zipfextR:Zipf扩展分布
04-03
和Casellas，A.（2013）arXiv：1304.4540，Zipf-Poisson Extreme（Zipf-PE） -泊松停止和（Zipf-PSS）分布和Zipf-Polylog。 在对数-对数刻度中，前两个扩展名允许最大凹度和最大凸度，而第三个扩展名仅允许最大凹度...
Zipf's Law and the Internet
07-02
Zipf's law governs many features of the Internet. Observations of Zipf distributions, while interesting in and of themselves, have strong implications for the design and function of the Internet. The ...
IT第一定律——Moore ‘s law
salty_dong的博客
11-17 3938
作为一个程序猿，要了解的第一个东西然是摩尔。。庄园了 呸。。。摩尔定律（忽略上图） 了解摩尔定律之前，还是了解一下他的创建者——戈登·摩尔。什么？你不认识戈登摩尔？那就请你低头看下电脑上的Intel标志（果粉自动忽略）。他便是大名鼎鼎的intel的创始人之一 题归正传，所谓摩尔定律就是： 当价格不变时，集成电路上可容纳的元器件的数目，约每隔18-24个月便会增加一倍，性能也将提升一倍
1147 Heaps 解析
sheepyWYY的博客
02-19 330
感觉最近两次30分的题，不像以前那么麻烦了... 检查最大最小堆.然后做一个后续遍历...序号从1开始就好了..多注意下端点的值，别搞错就好了。 #include <iostream> #include <string> #include <string.h> #include <queue> #include <map> #inc...
统计学基本知识，简单分布及基本定理
the_harder_to_love的博客
04-04 5397
统计学基本知识 总体：问题涉及的所有数据 样本：总体的部分数据 统计即用样本估计总体 期望值：一组数据的平均情况 概率分布：离散数据的分布 概率密度函数：连续数据的分布 总体方差：无偏方差，真实的方差 样本方差：有偏方差，样本的方差，用来评估总体方差 标准差：方差开根号 简单分布 二项分布 多次伯努利实验（抛硬币） 假设实验成功的概率为p E(x) = np D(x) = np(1-p) ...
统计学和概率论常用的部分基本概念整理
pkk19930819的博客
03-26 3898
统计学基本概念 统计学是在数据分析的基础上，研究测定、收集、整理、归纳和分析反映数据数据，以便给出正确消息的科学。随着大数据时代来临，统计的面貌也逐渐改变，与信息、计算等领域密切结合，是数据科学中的重要主轴之一。 由于它基于观测、重视应用，统计学常被看作是一门独特的数学科学，而不是一个数学分支。[3][4]很多统计学都不是数学的：如确保所收集来的数据能得出有效的结论；将数据编码、存档以使...
概率论几大分布和统计学三大检测简述
rav009的专栏
08-19 2万+
二项分布 二项分布是一个离散概率分布 在n次独立的实验中, 事件A 发生的概率为p(不发生的概率则为1-p),那么最终事件A 发生k(k大于等于0,小于等于n)次的概率为: nCk * p^k * (1-p)^(n-k) 其中 nCk 的意思是 组合(n中取k) 泊松分布 泊松分布是二项分布的一个变形和取极限,它通常被用来描述一段时间内或者一定空间内事件的发生次
墨菲定律（Murphy's Law）
Four_Kings的专栏
05-24 730
有可能出错的事情，一定会出错（Anything that can go wrong will go wrong）。所以，在日常开发中，如果发现有可能导致BUG或者感觉不太对（这个就靠经验了，有时候还是有点灵验的）的地方一定要趁早修正。不要因为目前还没有爆发就偷懒，因为问题迟早会凸显出来，这个懒始终是偷不掉的，甚至也许日后处理起来会麻烦许多倍。
Go语言的反射三定律
技术成就梦想，梦想成就未来。If you try hard enough, it can be.
04-17 3077
这里先抛出GO语言的反射三定律，然后一一进行讲解： 1、反射可以将“接口类型变量”转换为“反射类型对象” 2、反射可以将“反射类型对象”转换为“接口类型变量” 3、如果要修改反射类型对象，其值必须是“可修改的” 谈到Go的反射，涉及到如下几个概念。 （1）数据类型。go语言中的数据类型有： Bool             Int             Int8
[ 杂题 复杂度分析 ] Codeforces955F Heaps
gjghfd
03-26 429
对于 k=1k=1k=1 ，可以直接树形DP求出答案。 对于 k>1k>1k>1 ，显然 maxdepth<logknmaxdepth<logk⁡nmax_{depth}dpi,jdpi,jdp_{i,j} 表示 iii 号点，depthdepthdepth 为 jjj 时最大的 kkk ，那么状态数是 O(nlogn)O(nlog⁡n)O(n\log n) 的。 如果...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值