数学之美——谈谈分词

• 一般来讲，应用不同，汉语分词的颗粒度大小应该不同，因此不同的应用应有不同的分词系统。
• 中文分词的方法也被应用到英语处理，主要是手写体识别中。
• 分词的错误可以分为越界型错误和覆盖型错误。越界型错误：把“北京大学生”分为“北京大学-生”。覆盖型错误：把“贾里尼克”拆成四个字。
• 不断完善复合词的词典，是近年来中文分词工作的重点。