本文由码农场同步,最新版本请查看原文:http://www.hankcs.com/nlp/segment/depth-learning-chinese-word-segmentation-survey.html
![深度学习中文分词调研](https://static.oschina.net/uploads/img/201708/10220109_GBXq.jpg)
随着深度学习的普及,有越来越多的研究应用新模型到中文分词上,让人直呼“手快有,手慢无”。不过这些神经网络方法的真实水平如何?具体数值多少?以Sighan05中的PKU数据集为例,真像一些论文所言,一个LSTM-CRF就有96.5%吗?或者像某些工业界人士那样,动辄“基于深度学习的98%准确率”,“99% 的分词成功率”吗?如果数字真的这么好看,那中文分词这个课题几乎没有研究意义了。更何况,中文分词标准难以统一,任何语料库都存在内部标注一致性(inter-annotator agreement)的问题。一些著...
继续阅读:码农场 » 深度学习中文分词调研
原文链接:http://www.hankcs.com/nlp/segment/depth-learning-chinese-word-segmentation-survey.html