机器学习之隐马尔可夫模型(HMM)、最大熵马尔可夫模型(MEMM)、条件随机场(CRF)

导读

本次介绍的是三种机器学习模型，分别是隐马尔可夫HMM模型、最大熵马尔可夫模型以及条件随机场CRF模型，他们三个是一脉相承的，下面分别介绍

1.隐马尔科夫模型

隐马尔可夫模型（Hidden Markov Model）应用范围较广，主要应用在NLP序列标注问题上。例如分词、词性标注POS、命名实体识别NER等
它是经典的生成模型，学习的是联合概率矩阵$p(x,y)$，它是一个有向图模型，结构如下：

模型表示

五元组：（S,V,$\pi$,A,B），其中
S：隐藏状态集合，S = { $s_1$,$s_2$,$\dots$,$s_N$}，即上图中X一共有几类。
V：观测状态集合，V = { ${\nu }_1$,${\nu }_2$,$\dots$,${\nu }_N$}，即上图中X一共有几类。
$\pi$：初始状态的概率，$\pi$={ ${\pi }_1$,${\pi }_2$,$\dots$,${\pi }_N$}; ${\pi }_i$ = P($X_1$ = $s_i$)
A：状态转移概率矩阵，A = { $a_{ij}$}; $a_{ij}$ = P($X_{t+1}$ = $s_j$|$X_t$ = $s_i$)，即由$s_i$转移到$s_j$的概率}
B：符号输出概率，B = { $b_{jk}$}；j $\in$ S，k $\in$ V

序列
状态序列：$X=$