Zipf's law分析

简单地说，Zipf发现一个词在一个有相当长度的语篇中的等级序号（该词在按出现次数排列的词表中的位置，他称之为rank，简称r）与该词的出现次数（他称为frequency，简称f）的乘积几乎是一个常数（constant，简称C）。用公式表示，就是r × f = C。例如，他根据M. L. Hanley（1937）中有关James Joyce Ulysses的用词数据，从中抽取了第10、20等序号的词，其序号（r）与在书中的出现次数（f）的乘积分别如下表的III栏。除了最后三个数字出入稍大一点，其他的都在26,000左右。而且，Zipf发现常数C乘以10跟该书的实际总词数260,430很接近，如IV栏所示。

I Rank (r)	II Frequency (f)	III Product of I and II (r × f = C)	IV Theoretical Length of Ulysses (C × 10)
10	2,653	26,530	265,300
20	1,311	26,220	262,200
30	926	27,780	277,800
40	717	28,680	286,800
50	556	26,500	278,000
100	265	26,500	265,000
200	133	26,600	266,000
300	84	25,200	252,000
400	62	24,800	248,000
500	50	25,000	250,000
1,000	26	26,000	260,000
2,000	12	24,000	240,000
3,000	8	24,000	240,000
4,000	6	24,000	240,000
5,000	5	25,000	250,000
10,000	2	20,000	200,000
20,000	1	20,000	200,000
29,899	1	29,899	298,990

 

r × f = C这个公式还说明，一个词的出现次数跟它的等级序号成反比。出现次数越多，序号越小。出现次数最多的排第一，出现次数最少的排最后。这原本没有什么特别的：序号就是根据出现次数排的。但它们的乘积是常数这一点，却使得分别以词的序号和出现次数为轴线的双对数表（doubly logarithmic chart）呈现极大的规律性——它几乎是一条45度的直线。