简单有效的多标准中文分词

为什么80%的码农都做不了架构师？>>>   

本文由码农场同步，最新版本请查看原文：http://www.hankcs.com/nlp/segment/multi-criteria-cws.html

本文介绍一种简洁优雅的多标准中文分词方案，可联合多个不同标准的语料库训练单个模型，同时输出多标准的分词结果，在10个语料库上的联合结果优于绝大部分单独模型。模型参数全部共享，复杂度不随语料库增长。论文：https://arxiv.org/abs/1712.02856 代码和语料：https://github.com/hankcs/multi-criteria-cws 自然语言处理，特别是中文处理中，语料库往往珍稀且珍贵。具体到中文分词，也是如此。为了做出一个实用的系统，不光需要高效的算法...

继续阅读：码农场 » 简单有效的多标准中文分词

原文链接：http://www.hankcs.com/nlp/segment/multi-criteria-cws.html

感谢阅读本文，欢迎 查看原文或访问 码农场 获取更多内容

转载于:https://my.oschina.net/hankcs/blog/1587826