自然语言处理——隐马尔可夫模型(HMM)及中文分词器

概念基础

从马尔可夫假设到隐马尔可夫模型

   马尔可夫假设是指：每一个时间的发生概率只取决于前一个时间。当将满足该假设的多个事件串联在一起时，构成马尔可夫链。

   而在自然语言的情景下，满足假设的连续的多个事件可以具象为单词，即马尔可夫模型具象为二元语法模型。

  由此可得隐马尔可夫模型的两个假设：

    设 y_i 为i时刻的一个状态节点。x_i 为i时刻状态 y_i 所对应的观测节点。

     假设1：当前状态y _t 仅仅依赖于前一个状态 y_t-1 ，连续多个状态构成隐马尔可夫链y
     假设2：任意时刻的观测x_t只依赖于当前状态y_t，与其他时刻的状态或者观测无关。

图1：隐马尔可夫模型状态序列与观测序列的依赖关系

 隐马尔可夫模型可以总结为先有状态，后有观测。

隐马尔可夫模型的三要素

  隐马尔可夫模型的三要素有：初始状态概率向量$\pi$、状态转移概率矩阵A、发射概率矩阵B。

    初始状态概率向量：系统启动时进入的第一个状态y₁称为初始状态，假设y有N种取值，那么y₁就是一个独立的离散型随机变量，由p(y₁|$\pi$) 描述。其中：$$\pi =(p{i}_1,...{\pi }_N{)}^T,0⩽{\pi }_i⩽1,\sum _{i=1}^N\pi =1$$
是概率分布的参数向量，称为初始状态概率向量。

    状态转移概率矩阵：t+1时的状态仅仅取决于t时的状态，且一共有N种状态，则从状态s_i到s_j的概率就构成了一个N×N的矩阵，称为状态转移概率矩阵。其实际意义是在中文分词当中，标签B后面不可能是S，通过赋值$$p(y_{t+1}=S|y_t=B)=0$$就可以模拟这种禁止转移的需求。且这些参数不需要程序员手动服务，通过语料库学习可获得。

    发射频率矩阵：假设观测x一共有M种可能的取值，则x的概率发布参数向量维数为M。由于y一共有N种，则这些参数向量构成$N\times M$的矩阵，则$$B=[p(x_t=o_i|y_t=s_j){]}_{N\times M}$$称为发射概率矩阵。概率发射矩阵的实际意义是通过赋予位置构成比较固定的字符相应的概率，防止一些词汇被错误切分。

图2：完整隐马尔可夫模型描述图

隐马尔可夫模型的训练

  隐马尔可夫模型的训练需要利用极大似然法估计其模型参数，即：转移概率矩阵的估计、初始状态概率向量的估计、发射概率矩阵的估计。

    估计转移概率矩阵：记样本序列在时刻 $t$ 处于状态 $s_i$ ，时刻 $t+1$ 转移到状态 $s_j$ 。统计频次计入矩阵元素 $A_{i,j}$ ，根据极大似然估计，从 $s_i$ 到 $s_j$ 的转移概率 $a_{i,j}$ 可估计为矩阵第 $i$ 行的归一化：$${\hat{a}}_{}$$