参考https://cloud.tencent.com/developer/article/1591668
分词原理
1.基于字典
向前最大匹配,向后最大匹配等
2.基于统计
- 基于语言模型,N-Gram语言模型
- 基于统计机器学习,中文分词可以建模成序列标注问题,即一个考虑上下文的字分类问题。因此可以先通过带标签的分词语料来训练一个序列标注模型,再用这个模型对无标签的语料进行分词。
1.隐马尔可夫模型,已知参数、观测值推测状态值,使用维特比算法
2.条件随机场******
3.基于神经网络
- 双向LSTM
- 知识蒸馏