关于中文分词的统计和规则

现在觉得中文分词, 有2种方法, 一个是按照统计规律, 另一个是按照规则.

我觉得不应该完全的分开这2种方法.

就拿统计来说, 就已经在运用规则了:

规则就是: 多次出现的组合字符可以看作是一个词. 简言之就是重复的就是词.

可以看出, 统计的同时就已经在应用规则了.

实际上,我们可以认为, 中文分词只有一种方法, 那就是规则.

规则, 说简单点就是自然规律或者公认的规律.

至于未登录词, 对你的分词器和词典来说, 它确实是未登录词. 但是对它本身来说, 它就是词, 只不过你不认识他而已, 或者说你的规则并没有将它囊括进去.