机器学习 04 条件随机场

最新推荐文章于 2021-03-04 07:49:57 发布

钦文明思

最新推荐文章于 2021-03-04 07:49:57 发布

阅读量260

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/technologyYL81/article/details/105783283

版权

机器学习专栏收录该内容

5 篇文章 0 订阅

订阅专栏

理论部分

前提：相关概念
- 马尔可夫过程
- 隐马尔科夫算法
条件随机场
- 转移特征和状态特征
- 矩阵形式
条件随机场三问题
- 计算问题
- 学习问题
- 预测问题

一、相关概念

1、马尔可夫过程

假设一个随机过程中， $t_n$ 时刻的状态 $x_n$ 的条件发布，只与其前一状态 $x_{n-1}$ 相关，即

$P(x_n|x_1,x_2,...,x_{n-1})=P(x_n|x_{n-1})$

则将其称为马尔科夫过程。

2、隐马尔科夫算法

隐马尔科夫算法是对含有未知参数（隐状态）的马尔可夫链进行建模的生成模型。在隐马尔科夫模型中，包含隐状态和观察状态，隐状态 $x_i$ 对于观察者而言是不可见的，而观察状态 $y_i$ 对于观察者而言是可见的。隐状态间存在转移概率，隐状态 $x_i$ 到对应的观察状态 $y_i$ 间存在输出概率。

假设：

1、假设隐状态 $x_i$ 的状态满足马尔可夫过程，i时刻的状态 $x_i$ 的条件分布，仅与其前一个状态 $x_{i-1}$ 相关，即：

$P(x_i|x_1,x_2,...,x_{i-1}) = P(x_i|x_{i-1})$

2、假设观测序列中各个状态仅取决于它所对应的隐状态，即：

$P(y_i|x_1,x_2,...,x_{i-1},y_1,y_2,...,y_{i-1},y_{i+1},...) = P(y_i|x_{i})$

存在的问题：

在序列标注问题中，隐状态（标注）不仅和单个观测状态相关，还和观察序列的长度、上下文等信息相关。例如词性标注问题中，一个词被标注为动词还是名词，不仅与它本身以及它前一个词的标注有关，还依赖于上下文中的其他词。

二、条件随机场

1、转移特征和状态特征

条件随机场（以线性链条件随机场为例）：

给定 $X=(x_1,x_2,...,x_n)$ ，$Y=(y_1,y_2,...,y_n)$ 均为线性链表示的随机变量序列，若在给随机变量序列 X 的条件下，随机变量序列 Y 的条件概率分布 $P(Y|X)$ 构成条件随机场，即满足马尔可夫性：

$P(y_i|x_1,x_2,...,x_{i-1},y_1,y_2,...,y_{i-1},y_{i+1}) = P(y_i|x,y_{i-1},y_{i+1})$

则称为 P(Y|X) 为线性链条件随机场。

通过去除了隐马尔科夫算法中的观测状态相互独立假设，使算法在计算当前隐状态 $x_i$ 时，会考虑整个观测序列，从而获得更高的表达能力，并进行全局归一化解决标注偏置问题。

参数化形式：

$p\left(y | x\right)=\frac{1}{Z\left(x\right)} \prod_{i=1}^{n} \exp \left(\sum_{i, k} \lambda_{k} t_{k}\left(y_{i-1}, y_{i}, x, i\right)+\sum_{i, l} \mu_{l} s_{l}\left(y_{i}, x, i\right)\right)$

其中Z(x)为归一化因子，是在全局范围进行归一化，枚举了整个隐状态序列， $x_{1...n}$ 的全部可能，从而解决了局部归一化带来的标注偏置问题。

$Z(x)=\sum_{y} \exp \left(\sum_{i, k} \lambda_{x} t_{k}\left(y_{i-1}, y_{i}, x, i\right)+\sum_{i, l} \mu_{l} s_{l}\left(y_{i}, x, i\right)\right)$

其中 $t_k$ 为定义在边上的特征函数，转移特征，依赖于前一个和当前位置。 $s_1$ 为定义在节点上的特征函数，状态特征，依赖于当前位置。

简化形式：

因为条件随机场中同一特征在各个位置都有定义，所以可以对同一个特征在各个位置求和，将局部特征函数转化为一个全局特征函数，这样就可以将条件随机场写成权值向量和特征向量的内积形式，即条件随机场的简化形式。

2、矩阵形式

三、条件随机场三问题

1、计算问题

已知模型的所有参数，计算观测序列Y出现的概率，常用方法：前向和后向算法。

2、学习问题

已知观测序列Y，求解使得该观测序列概率最大的模型参数，包括隐状态序列、隐状态间的转移概率分布和从隐状态到观测状态的概率分布，常用方法：Baum-Wehch 算法；

3、预测问题

一直模型所有参数和观测序列Y ，计算最可能的隐状态序列X，常用算法：维特比算法。