机器学习--概率图算法--条件随机场

最新推荐文章于 2022-12-02 12:00:09 发布
最新推荐文章于 2022-12-02 12:00:09 发布
阅读量685 收藏 2
点赞数
文章标签： rfc 维特比算法 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35733800/article/details/105800763
版权
本文深入探讨了概率无向图的概念，包括成对、局部和全局马尔科夫性，并详细介绍了条件随机场，特别是线性链条件随机场。阐述了条件随机场的参数化形式，概率计算中的前向-后向算法，以及学习问题中的迭代尺度法。此外，还讲解了Viterbi算法在预测问题中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一 概率无向图

1 概率无向图的概念（三段式描述）

1）大前提

2）小前提

3）结论

2 概率无向图的成对、局部、全局马尔科夫性

1）成对马尔可夫性（条件独立）

2）局部马尔可夫性（条件独立）

3）全局马尔可夫性（条件独立）

3 概率无向图的因子分解

1）团与最大团

2）因子分解

二 条件随机场的概念与参数化形式（重点介绍线性链条件随机场）

1 条件随机场的概念（三段式）

1）大前提

2）小前提

3）结论

2 线性链条件随机场的概念（处理标注问题）

1）大前提

2）小前提

3）结论

3 线性链条件随机场的参数化形式（条件随机场完全由特征函数与特征函数权值确定）

4 线性链条件随机场的简化形式

5 线性链条件随机场的矩阵形式

三 条件随机场的概率计算问题

1 概率计算问题描述

2 前向-后向算法

1）前向算法（对每个指标，定义前向向量，维度为m）

2）后向算法（对每个指标，定义前向向量，维度为m）

3）概率计算

四 条件随机场的学习问题

1 学习问题的描述

2 学习问题的求解算法

1）改进的迭代尺度法

五 条件随机场的预测问题

1 预测问题的描述

2 Viterbi算法（算法原理与流程）

一 概率无向图

1 概率无向图的概念（三段式描述）

1）大前提

联合概率分布p(Y)，由无向图G(V,E)表示

注意：

  • Y：表示多维随机变量
  • V：表示无向图中的结点（随机变量）
  • E：表示无向图中的边（随机变量之间的依赖关系）

2）小前提

联合概率分布p(Y)，满足成对马尔可夫性、局部马尔可夫性、全局马尔可夫性

3）结论

联合概率分布p(Y)，称为概率无向图（或者称为马尔可夫随机场/马尔可夫网络）

2 概率无向图的成对、局部、全局马尔科夫性

1）成对马尔可夫性（条件独立）

  • 设u,v是无向图G(V,E)中任意两个没有边连接的结点，其中结点u,v分别对应随机变量Y_{u},Y_{v}
  • 设O是无向图G(V,E)中除u,v外所有的结点，其中O对应随机变量Y_{o}
  • 满足：p(Y_{u},Y_{v}|Y_{O})=p(Y_{u}|Y_{O})p(Y_{v}|Y_{O}),u\neq v

2）局部马尔可夫性（条件独立）

  • 设v是无向图G(V,E)中任意一个结点，其中结点v分别对应随机变量Y_{v}
  • 设W是与v有边连接的所有的结点，其中W对应随机变量Y_{W}
  • 设O是无向图G(V,E)中除u,W外所有的结点，其中O对应随机变量Y_{O}
  • 满足：p(Y_{v},Y_{O}|Y_{W})=p(Y_{v}|Y_{W})p(Y_{O}|Y_{W})

3）全局马尔可夫性（条件独立）

  • 设节点集合A,B是在无向图G(V,E)中被节点集合C分开的任意节点集合，其中分别对应随机变量Y_{A},Y_{B},Y_{C}
  • 满足：p(Y_{A},Y_{B}|Y_{C})=p(Y_{A}|Y_{C})p(Y_{B}|Y_{C})

3 概率无向图的因子分解

1）团与最大团

  • 团：是指无向图G中V的结点子集，要求子集中任意两个结点都有边连接
  • 最大团：是指存在团C，无法添加进去任意一个结点进去

2）因子分解

第一点：因子分解的概念

概率无向图中随机变量的联合分布表示为其最大团上的随机变量的函数的乘积形式

第二点：公式

p(Y)=\frac{1}{Z}\prod_{C}\Psi _{C}(Y_{C}),Z=\sum_{Y}\prod_{C}\Psi_{C}(Y_{C})

注意：

  • Y：表示对应的随机变量
  • Z：表示规范化因子
  • C：表示最大团
  • Y_{C}：表示最大团对应的随机变量
  • \Psi：表示势函数（严格正函数）

第三点：公式的扩展

\Psi_{C}(Y_{C})=e^{-E(Y_{C})}

最低0.47元/天 解锁文章
[Python从零到壹] 十三.机器学习之聚类算法四万字总结全网首发（K-Means、BIRCH、树状聚类、MeanShift）
杨秀璋的专栏
07-06 1万+
欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家，希望对您有所帮助，文章中不足之处也请海涵。Python系列整体框架包括基础语法10篇、网络爬虫30篇、可视化分析10篇、机器学习20篇、大数据分析20篇、图像识别30篇、人工智能40篇、Python安全20篇、其他技巧10篇。您的关注、点赞和转发就是对秀璋最大的支持，知识无价人有情，希望
机器学习---概率图模型（概率计算问题）
最新发布
weixin_43961909的博客
02-10 1432
的方法是按概率公式直接计算.通过列举所有可能的长度为T的状态序列。然后，对所有可能的状态序列I求和，得到观测序列O的概率。，然后对所有可能的状态序列求和，得。，O和I同时出现的联合概率为。，计算观测序列O出现的概率。态序列 I 与观测序列。阶的，这种算法不可行。
条件随机场CRF(二) 前向后向算法评估标记序列概率
weixin_33953384的博客
06-22 825
　　　　条件随机场CRF(一)从随机场到线性链条件随机场 　　　　条件随机场CRF(二) 前向后向算法评估标记序列概率 　　　　条件随机场CRF(三) 模型学习与维特比算法解码 　　　　在条件随机场CRF(一)中我们总结了CRF的模型，主要是linear-CRF的模型原理。本文就继续讨论linear-CRF需要解决的三个问题：评估，学习和解码。这三个问题和HMM是非常类似的，本文关注于第一个问题：...
线性链条件随机场-tutorial（一）
木东的博客
01-27 1070
1. 导读 这是一篇面向有一定机器学习基础读者的教程，文中不会涉及太多概率图模型的内容。该教程主要介绍了条件随机场（Conditional random fields）的定义。 首先让我们从一张流传甚广的模型关系图开始，如下图中所示，隐马尔可夫模型与线性链条件随机场是一对 “生成-判别对”（generative-discriminative pair）。可以理解为它们是一对近亲，模型非常相似。但究竟是哪里相似，图中的“条件化”（conditional）又是何意？本篇教程将会为你解答。 这篇教.
条件随机场理解（机器学习记录）
ttxs2016的博客
04-29 193
条件随机场 （以线性链条件随机场为例） 定义 给定 X=(x1,x2,...,xn)X=(x_1,x_2,...,x_n)X=(x1​,x2​,...,xn​) ，Y=(y1,y2,...,yn)Y=(y_1,y_2,...,y_n)Y=(y1​,y2​,...,yn​) 均为线性链表示的随机变量序列，若在给随机变量序列 X 的条件下，随机变量序列 Y 的条件概率分布 P(Y∣X)P(Y|X)P(...
概率路线图 (PRM) 算法
人无远虑，必有近忧
05-15 7495
其中，是用于解决第 1 个问题的重要方法，其核心思想为：先对机器人的单个构型进行碰撞检测，建立无碰撞构型的数据库，再对不同的构型进行采样以生成无碰撞路径。该算法的优点在于具有通用性，只需要针对不同的机器人运动规划问题进行合理的参数调整。该算法的缺点在于完备性较弱，即当参数设置不合理时，即使存在可行的路径，也不一定能够找到。典型的抽样规划方法有和两类。前者首先构建路线图，先通过采样和碰撞检测建立完整的，以得到构型空间的完整连接属性。再通过即可得到可行的路径。
机器学习C++源码解析-条件随机场CRF_CWS算法-源码+数据
08-07
这个压缩包中的“机器学习C++源码解析-条件随机场CRF_CWS算法-源码+数据”很可能是包含了CRF模型的C++实现代码以及相关的训练和测试数据集，供开发者学习和研究使用。通过阅读和理解这些源码，你可以深入了解CRF的...
大白话条件随机场--从此彻底理解CRF
06-20
在"大白话条件随机场--从此彻底理解CRF"的资源中，你可能会学到以下核心知识点： 1. **概率图模型基础**：条件随机场属于概率图模型，它描述了随机变量之间的概率分布，通过图结构来表示变量间的关系。在CRF中，...
差分进化算法改进随机森林的多分类代码,DA-RF多分类代码
07-31
差分进化算法（Differential Evolution，DE）是一种全局优化算法，常用于解决复杂的连续优化...这种结合可以为其他机器学习模型的参数优化提供参考，特别是在面对复杂问题和大量参数时，DE可能是一种有效的解决方案。
机器学习算法——概率图
MIT_sword的博客
10-01 599
1.概率图模型probabilistic graphical model 就是一类用图来表达随机变量相关关系的概率模型： 用一个结点表示一个或者一组随机变量。 结点之间的边表示变量间的概率相关关系。 概率图描述了：联合概率分布在所有随机变量上能够分解为一组因子的乘积的形式，而每个因子只依赖于随机变量的一个子集。 2.根据边的性质不同，概率图模型可以大致分为两类： 使用有向无环图表示随机变量间的依赖...
图网络算法——概率图介绍与贝叶斯网络
hei653779919的博客
10-26 3244
图网络算法——概率图综述 1 概率论回顾 在介绍概率图之前，我们先来回顾一下概率论中的相关的知识。 样本空间(Ω)： 样本空间描述的是一个随机试验中所有可能输出的集合。比如我们随机抛了一千次硬币，那么我们就可以获得一千次的结果，这一千个结果就构成了样本空间。样本空间中的每一个结果，我们称之为一个样本点。 随机事件： 在样本空间中，某些样本点组成了一个随机事件，即随机事件是样本空间的一个子集。 随机事件之间可能存在的关系： 包含关系：即A⊂BA⊂BA⊂B，则事件A发生必然会导致事件B发生。 相等关系：即A
机器学习算法笔记(4):条件随机场
weixin_44654458的博客
04-29 200
机器学习算法笔记(4):条件随机场 1.马尔可夫链：通俗理解马尔可夫链 假设一个随机过程中，tnt_ntn​ 时刻的状态xnx_nxn​的条件发布，只与其前一状态xn−1x_{n-1}xn−1​ 相关，即： P(xn∣x1,x2,...,xn−1)=P(xn∣xn−1) P(x_n|x_1,x_2,...,x_{n-1}) = P(x_n|x_{n-1}) P(xn​∣x1​,x2​,.....
一文读懂NLP之条件随机场算法详解
Elenstone的博客
03-23 1209
文章目录0 前言1 马尔科夫随机场1.1 概率图模型的定义1.2 马尔科夫随机场2 条件随机场2.1 条件随机场的定义2.2 条件随机场的参数化形式2.3 条件随机场的例子2.4 条件随机场的简化形式2.5 条件随机场的矩阵形式2.5 条件随机场的三个问题3 条件随机场的概率计算问题3.1 前向-后向算法3.2 概率计算3.3 期望值的计算4. 条件随机场的学习算法4.1 改进的迭代尺度法4.2 ...
机器学习：《统计学习方法》笔记（二）—— 条件随机场（CRF）
qq_24034545的博客
11-15 1142
参考：《统计学习方法》——李航； 摘要 介绍条件随机场的基本概念、概率计算、学习方法、预测方法等内容。 正文 1.基本概念 1.1 什么是条件随机场 条件随机场的定义为：X和Y都是随机变量，是给定X条件下Y的条件概率分布。若Y可以构成一个由无向图表示的马尔可夫随机场，即 对任意成立，则称为条件随机场。 其中指在无向图中除之外的所有点，指与相连的所有点。 1.2 什么是概率...
条件随机场的简单理解
热门推荐
weixin_41911765的博客
09-07 1万+
目录 什么是条件随机场 条件随机场长怎么样 如何构建特征函数 前向—后向算法 条件随机场的概率计算问题 条件随机场的预测问题 什么是条件随机场 条件随机场的定义 条件随机场总的来说就是只要满足“条件随机场”这个条件，就可以根据定义的模型去求解我们需要求解的问题，而我们时长需要解决的问题以线性的居多，所谓线性就是满足“线性链条件随机场”，本文也只涉及对“线性链条件随机场”的讲解。 ...
全连接条件随机场_条件随机场CRF
weixin_39614528的博客
12-06 1128
条件随机场（conditional random field）是给定一组输入随机变量条件下 另一组输出随机变量的条件概率分布模型，其特点是 假设输出随机变量构成马尔可夫随机场本章首先介绍概率无向图模型，然后叙述条件随机场的定义和各种表示方法，最后介绍条件随机场的3个基本问题：概率计算问题、学习问题和预测问题1、概率无向图模型概率无向图模型 又称为马尔可夫随机场，是一个可以由无向图表示的联合概率分布...
条件随机场（CRF）
惊鸿一博
10-30 9230
目录 1.定义 1.1 图 1.2 概率图模型（PGM） （1）有向图的联合概率： （2）概率无向图模型： 1.3 马尔可夫性 1.4 团与最大团 1.5 概率无向图模型的联合概率分布 1.6 条件随机场 1.7 线性链条件随机场 2.条件随机场的不同形式 2.1 条件随机场的参数化形式 2.2 条件随机场的简化形式 2.3 条件随机场的矩阵形式 3.概率计算问题 3.1 前向-后向算法 3.2 概率计算 3.3 期望值计算 4.学习算法（参数估计） 5.预测算法（.
CRF条件随机场
m0_67084346的博客
12-02 639
CRF条件随机场
以例子给出CRF的理解
Deep Learning and NLP Farm
10-10 7684
不太能看懂bilstm-crf的code，其实关键是没理解crf, 以例子来讲解crf过程非常容易理解，以下两个是我在网上浏览看到的非常的例子，以免忘记，时常浏览．example 1: 一，标记问题解决分词：就是将 词语开始和结束的字标记出来，就能对一个句子完成分词，假设使用两个标记B (开始)，E(结束)对句子进行处理，如：“民主是普世价值”，民B主E是B普B世E价B值E, 这样标记明确，分词结
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值