一种没有语料字典的分词方法

http://blog.csdn.net/ygrx/article/details/8926274

前几天在网上闲逛，看到一篇美文，说的是怎么在没有语料库的情况下从文本中提取中文词汇，理论部分讲得比较多，但都还是很浅显易懂的，其中涉及一部分信息论的理论，其实只要大学开过信息论这门课的话，看起来还是挺简单的。

信息论我忘得差不多了，但是其中主要的内容还记得，信息论最主要的就是信息其实是可以度量的，一个事件包含的信息和它发生的概率成反比，简单的说，同样一个事件，产生A结果的概率为Pa，产生B结果的概率为Pb，如果Pa大于Pb，那A所包含的信息量就比B要大。

打个简单的比喻，比如中国队和西班牙队踢足球比赛，大家都知道，西班牙队赢的概率大概是99.9999%，中国队赢的概率大概是0.0001%，假如最后的结果是中国队赢了（靠实力）的话，那这个事件（中国队赢了西班牙）就是个信息量非常巨大的事件，我相信各大报纸的头条都会报道，反而如果西班牙赢了，估计没有报纸会报道这个消息，这就是信息论的核心，也就是信息熵。

扯远了，上面只是说说我对信息论的理解，在分词技术上，目前的分词技术基本上都是基于字典的，就是看文章中有没有字典含有的词语，如果有，就把这个当成一个词来分，这样也衍生了很多分词技术，大家有兴趣可以自己去查一查。

如果我们没有词典，需要分词就比较麻烦了，假设我们最大的词长度设定为5，能想到的办法就是，从第一个字开始，把文本中所有连在一起的两个字，三个字，四个字，五个字的片段找出来，然后看这些片段在文本中出现的频率，频率高的就当成一个词汇，这样确实能分出词来，但是这样同样也分出了一些不是词的词汇，比如上面的文章中，“的话”这个词就出现的相对比较多，显然，这不是一个词。

在这种基础上怎么把类似“的话”这样的词去掉就是我们要做的工作了。这涉及到两个重要的部分，也是那篇美文提到的两个部分。

第一，怎么去掉类似于“的中国”和“中国队”这样的差异，这三个词可能出现的频率都差不多，甚至“的中国”出现的频率更高，假设对于一个长文本（假设为10000，并且是描述足球比赛的），

“的中国”出现了100次，概率是1%

“中国队”出现了60次，概率是0.6%

“中国”   出现了200次，概率为2%

“的”       出现了500次，概率为5%

“队”       出现了70次，概率为0.7%

这样的数据情况下，“的”字和“中国”随机组合在一起的概率为5%*2%=1%，而“队”和“中国”随机组合在一起的概率为0.7%*2%=0.14%，显然“的中国”的出现概率和他们组合在一起的概率差不多，所以我们认为“的中国”更像是随机组合在一起的词而不是一个固定的词汇，但“中国队”出现的概率比他们组合在一起的概率高了4.28倍，所以我们认为“中国队”更像一个词汇。

通过上面的计算，我们就可以把“的中国”这样的词丢掉了，就算他出现了很多次，但是我们一样不认为它是一个词，这就是第一部分，我们把它叫词语的凝聚程度，“的中国”显然凝聚力不够。

第二，像类似“了一”这样的词在文章中肯定也出现得很多，因为是足球比赛文章，所以经常出现摔了一跤，进了一球等等，显然，“了一”也不是一个词汇，但是单独看“了”和“一”，“了一”的概率可能比他们单独组合的概率高不少，像这样的词怎么弄呢，这就要用到开头我们讲的信息论中的信息熵了。

“信息熵”能够反映知道一个事件的结果后平均会给你带来多大的信息量。如果某个结果的发生概率为 p ，当你知道它确实发生了，你得到的信息量就被定义为 - log(p) 。 p 越小，你得到的信息量就越大。在“了一”这个词中，他的前缀为“摔”，“进”，概率分别是p1,p2那他的前缀信息熵就是- log(p1)*p1-log(p2)*p2，同样后缀的信息熵也可以算出来，算出来以后我们取其中较小的那个作为这个词的前后缀信息熵，结果算出来是一个非常小的数，比如0.2，比普通真实的词汇，比如“摔了一跤”这样的词的信息熵都要小，所以显然可能“了一”就不是一个词汇了，反而“摔了一跤”这样的词更像一个词汇。

有了这两个理论，那我们找出一个词，然后按这两个条件给出一个阈值，就能抽取出一批我们认为是词汇的词语了，不需要字典，而且从抽取出来的词根据词频排列的话，再把一般性的词如“应该”，“如果”，“似乎”这样的介词去掉的话，一般是这个文本的关键字集合了。

嗯，理论部分大概就是这样了，具体的大家要是有兴趣，可以看看这篇blog，我都是看到这个的，顺便推荐一个这个作者，他的文章基本上都是原创，而且对数学理解得很到位，很适合各种程序猿们，呵呵。

http://www.matrix67.com/blog/archives/5044

按照这个东西，我自己写了个python脚本，写得很着急，而且不知道理论理解得对不对，后来我对《明朝那些事》抽了一把，出现了这些：

危险 优秀 沉默 李景隆 影响 杨继盛 痛苦  脑袋 徐有贞 厉害 支持 蓝玉 杨廷和 瓦剌 申时行 判断 记载  孙承宗 坚持 愤怒 奏疏 锦衣卫 严世蕃 祁钰 倭寇  东林党 麻烦 朋友 努尔哈赤  选择 喜欢 容易 首辅 御史 李如松 父亲 戚继光 投降 陈友谅 厚照  希望 蒙古 简单 估计 消息 彻底 胡宗宪 祁镇 毕竟 魏忠贤 告诉 袁崇焕 嘉靖 似乎 准备 。。。。。。。。

而对于《时间简史》，出现了这些：

空间时间 吸引 增加 基本 尺度 效应 东西 描述 轨道

位置 边界 产生 解释 夸克 广义相对论 坍缩 辐射 部分

知道 状态 区域 距离 爆炸 问题 奇点 模型 太阳

事件 科学 预言 运动 膨胀 任何 必须 恒星 黑洞 .......

你修改约束条件，就会出现不同的词语，怎么平衡这个约束条件也是个问题。

另外，如果你有兴趣，可以分析分析一些人的blog和微博之类的，再和你自己的对比一下，说不定能找到很多关键词一样哦，还有，要是你有海量的数据，也可以做一些非常有意思的事情哦，哈哈。

最后，再次推荐一下matirx67的blog:   http://www.matrix67.com/     

程序做得太快了，不好，还是把关键函数贴出来吧，就是暴力的编码，用了python自带的方便的数据结构来快速开发。所以速度上比较慢，而且内存上。。呵呵。。说不定会爆哦。。。。完整程序：

https://github.com/wyh267/ChineseWordSegmentation

[python]  view plain copy print ?

1. # -*- coding=utf-8 -*-  
2. ''''' 
3. Created on 2013-5-9 
4.  
5. @author: Wu YingHao 
6.  
7. @email:  wyh817@gmail.com 
8.  
9. 该程序可以在没有语料库的情况下从文本中抽取出中文词汇 
10. 理论支持： 
11. http://www.matrix67.com/blog/archives/5044 
12.  
13. '''  
14.   
15.   
16. import math  
17.   
18.   
19. """ 
20.     计算每个字和词的出现频率 
21.     输入： words 字符串内容 
22.       num 需要截取的最长字串 
23.     输出： split_words 分割好的所有子串的数据，以字典形式返回 
24.       split_words 说明 
25.       {"字串" : [ 出现次数,出现概率,凝固程度,凝固程度*出现次数,自由程度,前缀集合,后缀集合] .....} 
26. """  
27. def find_words(words,num=6):  
28.     split_words={}  
29.     lens=len(words)  
30.     for i in range(0,lens):  
31.         for j in range(1,num+1):  
32.             if i+j < lens -num-2:  
33.                 if words[i:i+j] in split_words:  
34.                     split_words[words[i:i+j]][0]+=1  
35.                     split_words[words[i:i+j]][1]=float(split_words[words[i:i+j]][0])/float(lens)  
36.                     split_words[words[i:i+j]][6].append(words[i-1])  
37.                     split_words[words[i:i+j]][7].append(words[i+j])  
38.                 else:  
39.                     split_words[words[i:i+j]]=[1,  
40.                                                1/float(lens),  
41.                                                words[i:i+j],  
42.                                                1,  
43.                                                1,  
44.                                                0,  
45.                                                [words[i-1]],  
46.                                                [words[i+j]]  
47.                                                ]  
48.                       
49.                                                  
50.         if(i%10000==0):  
51.             print "完成 :" + str(float(i)/float(len(words))*100) + " %"  
52.                   
53.     return split_words  
54.                   
55.   
56.   
57. """ 
58.     计算凝聚程度 
59.     输入：words_dic 已经拆分好的字符串字典 
60.     输出：填充好凝聚程度的字典 
61. """  
62. def find_nh(words_dic):  
63.     for key in words_dic.keys():  
64.         if(len(key)>1):  
65.             #左凝聚程度  
66.             left_p=words_dic[key][1]/(words_dic[key[:1]][1]*words_dic[key[1:]][1])  
67.             #右凝聚程度  
68.             right_p=words_dic[key][1]/(words_dic[key[:-1]][1]*words_dic[key[:-1]][1])  
69.                    
70.               
71.             if(left_p<right_p):  
72.                 words_dic[key][3]=left_p  
73.             else:  
74.                 words_dic[key][3]=right_p  
75.       
76.   
77.   
78.   
79. """ 
80.     计算自由程度 
81.     输入： word_dic 字典文件 
82.     返回：word_dic 添加自由程度以后的字典 
83. """  
84. def calc_free(word_dic):  
85.     for key in word_dic.keys():  
86.         front_free=0  
87.         end_free=0  
88.         for front in word_dic[key][6]:  
89.             if front in word_dic:  
90.                 front_free-=math.log(word_dic[front][1])*word_dic[front][1]  
91.           
92.         for end in word_dic[key][7]:  
93.             if end in word_dic:  
94.                 end_free-=math.log(word_dic[end][1])*word_dic[end][1]  
95.               
96.         if(front_free < end_free):  
97.             word_dic[key][5]=front_free  
98.         else:  
99.             word_dic[key][5]=end_free  
100.   
101.     return word_dic  
102. <span style="font-family: Arial, Helvetica, sans-serif;">    </span>  

注：本文虽然不是转帖，但是内容参考了matrix67的博客，地址为  http://www.matrix67.com/blog/archives/5044  ，特此声明。