主流分词工具性能测试结果对比

Jieba
Time expenditure: 159.01109504699707
Accuracy score: 0.8949003450398567
Macro f1 score: 0.8539702787662644
Micro f1 score: 0.8949003450398567
Classification report:
              precision    recall  f1-score   support

          1       0.92      0.93      0.92   7742534
          2       0.64      0.73      0.68   1725401
          3       0.91      0.92      0.91   7742534
          4       0.93      0.87      0.90   7934742

avg / total       0.90      0.89      0.90  25145211

################
FoolNLTK
Time expenditure: 3013.650370836258
Accuracy score: 0.8967728685991142
Macro f1 score: 0.8673202157924605
Micro f1 score: 0.8967728685991142
Classification report:
              precision    recall  f1-score   support

          1       0.92      0.91      0.92   7742534
          2       0.84      0.67      0.75   1725401
          3       0.92      0.90      0.91   7742534
          4       0.86      0.93      0.89   7934742

avg / total       0.90      0.90      0.90  25145211

################
SnowNLP
Time expenditure: 4869.36455488205
Accuracy score: 0.8119301126564418
Macro f1 score: 0.7720458638789692
Micro f1 score: 0.8119301126564417
Classification report:
              precision    recall  f1-score   support

          1       0.85      0.85      0.85   7742534
          2       0.73      0.53      0.61   1725401
          3       0.85      0.85      0.85   7742534
          4       0.75      0.80      0.77   7934742

avg / total       0.81      0.81      0.81  25145211

################
Thulac
Time expenditure: 832.995644569397
Accuracy score: 0.8836474667084718
Macro f1 score: 0.859268602669403
Micro f1 score: 0.8836474667084718
Classification report:
              precision    recall  f1-score   support

          1       0.93      0.88      0.91   7742534
          2       0.82      0.70      0.76   1725401
          3       0.92      0.87      0.90   7742534
          4       0.82      0.93      0.87   7934742

avg / total       0.89      0.88      0.88  25145211

################
Pyltp
Time expenditure: 278.23491406440735
Accuracy score: 0.9093612696270474
Macro f1 score: 0.8871796571855726
Micro f1 score: 0.9093612696270474
Classification report:
              precision    recall  f1-score   support

          1       0.94      0.92      0.93   7742534
          2       0.86      0.74      0.80   1725401
          3       0.93      0.91      0.92   7742534
          4       0.87      0.93      0.90   7934742

avg / total       0.91      0.91      0.91  25145211

################
Pynlpir
Time expenditure: 272.57259035110474
Accuracy score: 0.769518657051635
Macro f1 score: 0.7196676641140345
Micro f1 score: 0.769518657051635
Classification report:
              precision    recall  f1-score   support

          1       0.87      0.77      0.82   7742534
          2       0.34      0.71      0.46   1725401
          3       0.86      0.77      0.81   7742534
          4       0.81      0.78      0.79   7934742

avg / total       0.81      0.77      0.78  25145211

################