-
分词算法
- 先把句子按照字典切分成词,再寻找词的最佳组合方式
- 基于字的分词,先把句子分成一个个字,再将字组合成词,也可转化为序列标注问题
-
基于词典的分词
- 最大匹配分词算法(正向、逆向、双向)
- 先将字典构造成一个字典树(提升查找效率降低存储空间)
- 最短路径分词算法
- 将一句话中的所有词匹配出来,构成词图(有向无环图),然后起始点到终点的最短路径作为最佳组合方式
- 最大匹配分词算法(正向、逆向、双向)
-
基于n-gram 模型的分词方法:
- 2-gram模型
-
基于字的分词
- 将分词看成序列标注问题,字的分类问题(输入为每个字及前后字所构成的特征,输出为分类标记),可用统计机器学习或者神经网络方法求解。
- 生成式模型分词算法
- 生成式模型 “输出Y按照一定的规律生成输入X”为假设对P(X,Y)联合概率进行建模。
- 主要有n-gram模型、HMM隐马尔科夫模型,朴素贝叶斯分类等。
- 判别式模型分词算法
- 判别式模型认为Y由X决定,直接对后验概率P(Y|X)建模
- 平均感知机分词算法
- CRF分词算法
- 识别未登陆词但开销较大
nlp基础学习 中文分词原理
最新推荐文章于 2024-08-07 11:38:54 发布
本文概述了中文分词的基本算法,包括最大匹配法、最短路径法以及基于n-gram模型的分词方法,如2-gram模型。此外,还讨论了生成式模型如HMM和朴素贝叶斯,以及判别式模型如平均感知机和CRF在分词中的应用。
摘要由CSDN通过智能技术生成