本文由码农场同步,最新版本请查看原文:http://www.hankcs.com/nlp/segment/multi-criteria-cws.html
![简单有效的多标准中文分词](https://static.oschina.net/uploads/img/201712/11132138_JMNF.jpg)
本文介绍一种简洁优雅的多标准中文分词方案,可联合多个不同标准的语料库训练单个模型,同时输出多标准的分词结果,在10个语料库上的联合结果优于绝大部分单独模型。模型参数全部共享,复杂度不随语料库增长。论文:https://arxiv.org/abs/1712.02856 代码和语料:https://github.com/hankcs/multi-criteria-cws 自然语言处理,特别是中文处理中,语料库往往珍稀且珍贵。具体到中文分词,也是如此。为了做出一个实用的系统,不光需要高效的算法...
继续阅读:码农场 » 简单有效的多标准中文分词
原文链接:http://www.hankcs.com/nlp/segment/multi-criteria-cws.html