基于统计学的中文分词

基于统计学的分词方法可以借鉴2.2节的统计预言模型的思想，常用的有n_gram模型、隐马尔科夫模型、最大熵模型。由于我们本次使用统计预言模型为期刊文本分词，将对上述三个模型一一介绍并比较。

---

• n-gram模型
  给定句子S，假定可由规则$A_1,A_2,A_3,...A_k$这k个词组成，称之为规则A，则在规则A下出现这个句子的概率P(S)可表示为
  $$P_A(S) = P(A_1,A_2,A_3,...A_k)$$
  同理，在规则B和规则C下出现这个句子的概率P(S)可表示为
  $$\begin{equation} P_B(S) = P(B_1,B_2,B_3,...B_m) \end{equation}$$
  $$P_C(S) = P(C_1,C_2,C_3,...C_n)$$
  如果$P_A(S)>P_B(S),P_A(S)>P_C(S)$则认为A规则下的分词更加合理。