语言模型及其在中文分词中的应用

基于统计的分词方法的基本思想是中文语句中相连的字出现的次数越多，那么作为词来使用的次数就越多，语句拆分的可靠性就越高，分词的准确率就越高。其基本原理是统计词出现的次数，出现次数足够高的词作为单独的词被保留。基于统计的分词方法能够较好地处理未登录词和歧义词问题，不需要人为地搭建和维护词典，但它过于依赖语料库，语料库地准确度不一定高，且计算量较大，分词速度一般。

常见的基于统计的分词方法包括$n$元语法模型（n-gram）和隐马尔科夫模型（HMM)

语言模型（LM）

语言模型（LM）是描述自然语言内在规律的数学模型。简言之，就是计算一个句子在文本中出现概率的模型，概率越大说明这个句子的准确性就越高。语言模型通常基于一个语料库构建，被广泛应用于各种NLP问题中，如语音识别、机器翻译、分词、词性标注等。

设$s$为一连串按特定顺序排列的词序列（也就是一个句子），${\omega }_i$表示词序列（句子）中的第$i$个词，则$s={\omega }_1,{\omega }_2,...,{\omega }_l$。

语言模型可表示为：

$P(s)=P({\omega }_1,{\omega }_2,...,{\omega }_l)$
          $=P({\omega }_1)P({\omega }_2|{\omega }_1)...P({\omega }_l|{\omega }_1,{\omega }_2,...,{\omega }_{l-1})$

$n$元语法模型（n-gram）

在上面介绍的语言模型中存在一个问题，即当词序列的长度增加时，其计算难度也将逐渐加大。为了解决这一问题，我们引入马尔科夫假设。

马尔科夫假设： 对${\omega }_1,{\omega }_2,...,{\omega }_l$这一连串特定顺序排列的词序列，${\omega }_i$出现的概率只与前面$N-1$个词${\omega }_{i-N+1},...,{\omega }_{i-2},{\omega }_{i-1}$相关。

当$N=n$时，整个词序列${\omega }_1,{\omega }_2,...,{\omega }_l$将被切分成一个个由$n$个词组成的片段，该语言模型被称为n元语法模型（n-gram模型）。

一元语法模型

当$N=1$时，该语言模型称为一元语法模型（unigram模型），此时每个词出现的概率都与前面的词无关，即相互独立：

$P({\omega }_i|{\omega }_1,{\omega }_2,...,{\omega }_{i-1})=$