中文分词概念 将句子转化为词的表示 标题中文分词主要包括 规则分词统计分词混合分词(规则分词+混合分词) 规则分词 基于词库、不能处理新词。 方法:正向最大匹配、逆向最大匹配、双向最大匹配 统计分词 应对新词发现、依赖语料库质量