深度学习中文分词调研

为什么80%的码农都做不了架构师？>>>   

本文由码农场同步，最新版本请查看原文：http://www.hankcs.com/nlp/segment/depth-learning-chinese-word-segmentation-survey.html

随着深度学习的普及，有越来越多的研究应用新模型到中文分词上，让人直呼“手快有，手慢无”。不过这些神经网络方法的真实水平如何？具体数值多少？以Sighan05中的PKU数据集为例，真像一些论文所言，一个LSTM-CRF就有96.5%吗？或者像某些工业界人士那样，动辄“基于深度学习的98%准确率”，“99% 的分词成功率”吗？如果数字真的这么好看，那中文分词这个课题几乎没有研究意义了。更何况，中文分词标准难以统一，任何语料库都存在内部标注一致性（inter-annotator agreement）的问题。一些著...

继续阅读：码农场 » 深度学习中文分词调研

原文链接：http://www.hankcs.com/nlp/segment/depth-learning-chinese-word-segmentation-survey.html

感谢阅读本文，欢迎 查看原文或访问 码农场 获取更多内容

转载于:https://my.oschina.net/hankcs/blog/1506181