利用目前的三个分词工具(jieba、snownlp、pynlpir)简单的实现了短文本的分词效果

part one    利用jieba分词

结果为：

part two   利用snownlp分词

结果为：

part one    利用pynlpir分词

代码如下：

测试结果如下：

在运行过程中遇到了pynlpir授权过期的问题，

即报错为：

pynlpir.LicenseError: Your license appears to have expired. Try running "pynlpir update".

解决方案如下：

 转到https://github.com/NLPIR-team/NLPIR/blob/master/License/license%20for%20a%20month/NLPIR-ICTCLAS%E5%88%86%E8%AF%8D%E7%B3%BB%E7%BB%9F%E6%8E%88%E6%9D%83/NLPIR.user下载新的NLPIR.user

然后覆盖DATA文件夹中的原文件(NLPIR.user)即可

比如我是在anconda环境下使用pip install pynlpir安装的pynlpir,

所以要到覆盖到D:\Anaconda3\Lib\site-packages\pynlpir\Data中

然后再重启，再次运行即可。