分词岐义处理是分词系统处理的最大难点之一，目前主要有下面几种处理方式：
一、词频统计法
举个例子说：“著作权和版权在我国是同一个概念，是法律赋予作品创作者的专有权利。”
在这句话中，“我国是” 这里就是一个存在岐义的地方，它可以分为“我国 是”，也可以分为“我 国是”
像这种情况，可以用居于词频法，显然“我国”比“国是”频率要高得多，因为可以确定“我国 是”是正确的模式。
不过居于这种方式的分词算法必须附带一个词频的词库，这需要大量的语义库。
二、最大词优先法
在句子“电影的创作人大多数是比较豪气的。 ”里，出现岐义的地方是“创作人大多数”
它可分解为“创作 人大 多数”
在这种情况下用最大词优先法是最适合的
三、多元最大切分消岐法
多元最大切分消岐法严格来说，做的并不是消岐工作，因为上面一二实际上都是要利用到二元运算的。
多元最大切分消岐法是对岐义的结果进行最大切分，从而确保索引数据的有效性，这种方式其实是目前最流行，也是最适合的方式。
就“电影的创作人大多数是比较豪气的。 ”这句话而言，它将被分为“电影 的 创作 创作人 人大 大多数 是 比较 豪气 的 。”
因为目前没有任何，实际上也不可能有什么算法能保证100%正确的，因此在实际用途中，多元最大切分消岐法成了最实用，也使用最多的处理方法。
(文 IT柏拉图)
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
