哈工大LTP和中科院NLPIR中文分词比较

个人实验总结，仅供参考。

1.LTP有自动分句功能，NLPIR没有分句功能；

LTP的分句是根据中文标点里的句号、问号、感叹号、分号、省略号。


2.NLPIR分词有两种方式，分词结果完全一致。
（1）利用分词函数NLPIR_ParagraphProcess；
（2）利用NLPIR_FileProcess对整个文本进行分词。
其中第（2）种有时候会出现bug，分词进行到文本某一处时会进行不下去。


3.LTP有在线API和本地两种：
（1）在线API受限于URI构造规则，不能提交一些特殊字符（如#、&、+、换行符、英文分号等），而且存在极少数未知的组合bug（比如and和in居然不能同时提交）；

（2）本地LTP在分词时则不受上述限制。

符号	问题
换行符	程序直接报错
&	会影响句子处理（句子会被截断）
英文分号;	会影响句子处理（句子会被截断）
#	会影响句子处理（程序直接报错，如“C#”）
+	会被系统删除（如“互联网+”、“C++”）

        基于上述原因，调用在线API分词和本地分词两种方式的分词结果会有差异，而且除了上述特殊字符引起的差异外，还会有其他一些极少数差异。

差异统计：3000个句子，有40句存在分词差异。
“+”引起：21句
“#”引起：2句
其他：17句

LTP本地

LTP在线