泰文分词

泰文的分词研究开始于1990年左右，经过近30年的研究，已经有好几种算法被应用于解决该问题。这些算法可以被分为两大类：

1. 基于字典的：例如Chrome’s v8 BreakIterator 和 PyThaiNLP’s newmm，以及Cutkum，SWATH，上述开源项目中PyThaiNLP功能最全面。
2. 基于机器学习的：基于标记数据，binary classification
   2.1 基于CNN卷积神经网络的：DeepCut
   2.2 基于RNN循环神经网络的：Sertis’ Bi-GRU

一般而言，基于字典的算法分词速度更快，但是应对未登录词的能力较弱；基于机器学习的方法往往质量更好，能够适应不同领域的词汇，但是速度相对较慢。例如，上述分词方法中DeepCut的召回率最好，但分词过细，PyThaiNLP’s newmm 方法的分词粒度较好，但召回率最低。

github链接：

1. cutkum
2. pythainlp