新词发现

4.8  新词发现

词典中没有的，但是结合紧密的字或词有可能组成一个新词。 比如："水立方"如果不在词典中，可能会切分成两个词"水"和"立方"。如果在一篇文档中"水"和"立方"结合紧密，则"水立方"可能是一个新词。可以用信息熵来度量两个词的结合紧密程度。信息熵的一般公式是：

如果Ｘ和Ｙ的出现相互独立，则P(Ｘ,Ｙ)的值和P(Ｘ)P(Ｙ)的值相等，I(Ｘ,Ｙ)为0。如果Ｘ和Ｙ密切相关，P(Ｘ,Ｙ)将比P(Ｘ)P(Ｙ)大很多，I(Ｘ,Ｙ)值也就远大于0。如果Ｘ和Ｙ的几乎不会相邻出现，而它们各自出现的概率又比较大，那么I (Ｘ,Ｙ)将取负值，这时候Ｘ和Ｙ负相关。设f(C)是词C出现的次数，N是文档的总词数，则：
因此，两个词的信息熵计算如下：
两个相邻出现的词叫做二元连接串。