nlp基础学习 中文分词原理

分词算法综述

• 分词算法

  • 先把句子按照字典切分成词，再寻找词的最佳组合方式
  • 基于字的分词，先把句子分成一个个字，再将字组合成词，也可转化为序列标注问题

• 基于词典的分词

  • 最大匹配分词算法（正向、逆向、双向）
    • 先将字典构造成一个字典树（提升查找效率降低存储空间）
    • 
  • 最短路径分词算法
    • 将一句话中的所有词匹配出来，构成词图（有向无环图），然后起始点到终点的最短路径作为最佳组合方式

• 基于n-gram 模型的分词方法：

  • 2-gram模型

• 基于字的分词

  • 将分词看成序列标注问题，字的分类问题（输入为每个字及前后字所构成的特征，输出为分类标记），可用统计机器学习或者神经网络方法求解。
  • 生成式模型分词算法
    • 生成式模型 “输出Y按照一定的规律生成输入X”为假设对P(X,Y)联合概率进行建模。
    • 主要有n-gram模型、HMM隐马尔科夫模型，朴素贝叶斯分类等。
  • 判别式模型分词算法
    • 判别式模型认为Y由X决定，直接对后验概率P(Y|X)建模
    • 平均感知机分词算法
    • CRF分词算法
      • 识别未登陆词但开销较大