词处理之分词

参考https://cloud.tencent.com/developer/article/1591668

分词原理

1.基于字典

向前最大匹配，向后最大匹配等

2.基于统计

• 基于语言模型，N-Gram语言模型
• 基于统计机器学习，中文分词可以建模成序列标注问题，即一个考虑上下文的字分类问题。因此可以先通过带标签的分词语料来训练一个序列标注模型，再用这个模型对无标签的语料进行分词。
  1.隐马尔可夫模型，已知参数、观测值推测状态值，使用维特比算法
  2.条件随机场******

3.基于神经网络

• 双向LSTM
• 知识蒸馏

分词工具