自然语言处理1-马尔科夫链和隐马尔科夫模型（HMM）

基于统计的语言模型比基于规则的语言模型有着天然的优势，而（中文）分词是自然语言处理的基础，接下来我们将注重介绍基于统计的中文分词及词性标注技术。为此做以下安排：首先介绍一下中文处理涉及到基本概念，接着分析开源的一些基于统计的中文分词原理。

中文分词涉及的基本概念有马尔科夫链，隐马尔科夫模型（HMM），Ngram模型，最大熵马尔科夫模型(MEMM)，条件随机场(CRF)等

1、马尔科夫链

通俗讲马尔科夫链是指在某一状态空间序列中，当前的状态只与它前面n（n=1,2，……）个状态相关。

具体定义如下：

马尔科夫链指具有马尔科夫性质的随机变量X₁, X₂, X₃,…序列，即将来的状态只与当前的状态相关，而与过去的状态无关。

用数学公式表示如下

Pr (X_n+1=|X₁=x₁,X₂=x₂, …, X_n=x_n) = Pr (X_n+1=x|X_n=x_n)

Xn(n=1,2,3,…)表示所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态

马尔科夫链通常被描述成一个有向图，其中状态表示图的顶点，状态转移概率表示图的边。如图1所示。