现在觉得中文分词, 有2种方法, 一个是按照统计规律, 另一个是按照规则.
我觉得不应该完全的分开这2种方法.
就拿统计来说, 就已经在运用规则了:
规则就是: 多次出现的组合字符可以看作是一个词. 简言之就是重复的就是词.
可以看出, 统计的同时就已经在应用规则了.
实际上,我们可以认为, 中文分词只有一种方法, 那就是规则.
规则, 说简单点就是自然规律或者公认的规律.
至于未登录词, 对你的分词器和词典来说, 它确实是未登录词. 但是对它本身来说, 它就是词, 只不过你不认识他而已, 或者说你的规则并没有将它囊括进去.