《统计学习方法》第十一章 条件随机场

1. 条件随机场定义

1.1 定义

条件随机场(conditional random field, CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫随机场.CRF可以用于不同的预测问题.
当用于标注问题时,使用线性链条件随机场,这时,问题变成了由输入序列对输出序列预测的判别模型,形式为对数线性模型,其学习方法通常是极大似然估计或正则化的极大似然估计.

1.2 条件随机场的三个基本问题

概率计算问题、学习问题、预测问题

2. 概率无向图模型

2.1 概率无向图模型定义

概率无向图模型(probabilistic undirected graphical model)又称马尔可夫随机场,是一个可以由无向图表示的联合概率分布.
在这里插入图片描述
给定一个联合概率分布P(Y)和表示它的无向图G,无向图表示的随机变量之间存在成对马尔可夫性、局部马尔可夫性和全局马尔可夫性.

2.1.1 成对马尔可夫性

在这里插入图片描述
在这里插入图片描述

2.1.2 局部马尔可夫性

在这里插入图片描述

2.1.3 全局马尔可夫性

在这里插入图片描述
注: 上述成对的、局部的、全局的马尔可夫定义是等价的(不太理解,意思是它们之间可以相互转换吗???).

2.1.4 概率无向图模型定义

在这里插入图片描述

2.2 概率无向图模型的因子分解
2.2.1 团与最大团定义

: 无向图G中任何两个节点均有边连接的结点子集
最大团: 若C是无向图G的一个团,并且不能再加任何一个G的结点使其成为一个更大的团,则称C为最大团.
在这里插入图片描述
注:
两节点团:{Y1,Y2},{Y2,Y3},{Y3,Y4},{Y4,Y2},{Y1,Y3}
最大团:{Y1,Y2,Y3},{Y2,Y3,Y4}

2.2.2 概率无向图模型的因子分解定义

将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式的操作,称为概率无向图模型的因子分解.

2.2.3 Hammersley-Clifford定理

概率无向图模型的联合概率分布P(Y)可以表示为如下形式:
在这里插入图片描述
注:

  1. C是无向图的最大团,Yc是C的结点对应的随机变量
  2. ψc(Yc)是C上定义的严格正函数,函数ψc(Yc)称为势函数,通常定义为指数函数:
    在这里插入图片描述
  3. 乘积是在无向图所有的最大团上进行的.

3. 条件随机场的定义与形式

3.1 条件随机场的定义
3.1.1 线性链条件随机场定义及应用场景

在这里插入图片描述

3.1.2 条件随机场

在这里插入图片描述

3.1.3 线性链条件随机场

在这里插入图片描述
在这里插入图片描述
注: 上图中最大团是相邻两个结点的集合.

3.1.4 条件随机场的参数化形式

在这里插入图片描述
在这里插入图片描述
线性链条件随机场实例:
在这里插入图片描述
在这里插入图片描述

3.1.5 条件随机场的简化形式

在这里插入图片描述
在这里插入图片描述

3.1.6 条件随机场的矩阵形式

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4. 条件随机场的概率计算问题

4.1 前向后向算法

在这里插入图片描述
在这里插入图片描述

4.2 概率计算

在这里插入图片描述

4.3 期望值的计算

在这里插入图片描述

5. 条件随机场的学习算法

5.1 改进的迭代尺度法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.2 拟牛顿法

在这里插入图片描述

6. 条件随机场的预测算法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值